Представьте: вы смотрите на снимок. Мокрая улица после дождя, отражение в витрине, ни одного лишнего предмета. Ни подписи, ни водяного знака, ни руки с шестью пальцами. Вы уже почти уверены, что это фотография. Пример условный, но показывает ровно то, как работает узнавание.
Дальше отвечу прямо. Убеждает такое изображение не потому, что нейросеть отыскала где-то именно этот кадр и выдала его вам. Она собрала картинку заново, и собрала так, чтобы результат походил на статистику всего, что она видела при обучении. Следствие простое и неудобное: правдоподобие здесь свойство метода, а не свидетельство о реальности. Разберём цепочку по звеньям.
Причина: условия и запускающий фактор
Условий два, и они разного порядка. Первое: материал. Огромные наборы пар «изображение — подпись», на которых модель учится связывать слова с тем, как это выглядит. Второе: вычислительная возможность проделывать это много раз подряд, а не один раз.
Запускающий фактор лежит на поверхности, и потому его часто принимают за главную причину. Это ваш текстовый запрос. Он не «извлекает» картинку из базы, он задаёт направление, в котором пойдёт построение. Измените формулировку, и изменятся композиция с деталями: механизм cross-attention связывает отдельные слова с элементами формируемой сцены.
А есть третий фактор, менее заметный. Случайность. Диффузионная модель начинает со случайного шума. Один и тот же запрос при разном шуме даёт разные результаты. Это не каприз интерфейса, это часть механизма.
Как это работает
Схема короче, чем кажется, и её стоит проговорить буквально.
Модель берёт случайный шум и многократно удаляет его, шаг за шагом приближая результат к распределению обучающих изображений. Именно так это описано в работе о диффузионных вероятностных моделях. Картинка не извлекается готовым файлом, она проявляется постепенно, как соус, который уваривают: каждый проход снимает лишнее, и в конце остаётся то, что похоже на ожидаемое. Раскроем метафору: «лишнее» здесь это шум, а «ожидаемое» — усвоенная статистика изображений, а не чей-то замысел.
Дальше начинается экономия. Современные генераторы часто выполняют эту процедуру не в пикселях, а в сжатом латентном представлении, и только потом декодируют его в пиксели. Так резко падают вычислительные затраты, и генерация изображений высокого разрешения становится практичной.
А откуда берётся понимание слов? Из обучения на парах «изображение — подпись». Модель CLIP, например, училась сопоставлять правильные пары среди 400 млн пар из интернета. Понимание промпта статистически опирается на увиденные подписи и изображения, и ни на что больше.
Бытовой пример. Скажите «уютная кухня утром» и получите мягкий свет и тёплые тона. Скажите «уютная кухня утром, широкий план, холодный свет из окна» и получите другое. Вы не описали ни одного конкретного предмета, но результат изменили, потому что слова сдвинули то, с чем они связаны в усвоенной статистике.
Следствие: ближайшие и возможные дальнейшие последствия
Ближайшее следствие вы уже наблюдаете. Визуальный материал, похожий на фотографию, стал дешёвым и быстрым в производстве. Меняется не картинки, а привычка их проверять. Там, где раньше вопрос о подлинности возникал редко, он теперь возникает постоянно.
Второе следствие: отпечаток данных на результате. Генератор воспроизводит закономерности обучающих данных, включая их перекосы. OpenAI установила, что фильтрация части данных при подготовке DALL·E 2 сама могла усилить гендерный дисбаланс в результатах: изменение выборки меняет усвоенное распределение, а значит, и выдачу модели. Проще говоря, правка состава данных это тоже вмешательство в результат, а не нейтральная уборка.
Третье: граница между «новым» и «почти повторённым». Генерация не всегда означает создание полностью нового содержания. OpenAI обнаружила, что DALL·E 2 иногда воспроизводила обучающие изображения, если одинаковые или очень похожие картинки многократно повторялись в наборе данных; дедупликация снижала такой эффект. Это уже не вопрос вкуса, а вопрос происхождения материала.
Четвёртое, и самое важное для практики: разделение двух разных вещей. Фотореалистичность не доказывает достоверность. Генеративные модели приближают статистическое распределение обучающих данных и могут создавать правдоподобный, но фактически ложный визуальный материал. Криптографические Content Credentials способны подтвердить происхождение и историю изменений файла, но сами по себе не подтверждают истинность изображённого. Ce n'est pas la preuve, c'est la vraisemblance, «это не доказательство, это правдоподобие».
Где эта логика даёт сбой
Первое ограничение: вывод «раз похоже на фото, значит, было». Здесь ломается не метод, а наша привычка считать правдоподобие доводом. Убедительность картинки и её отношение к реальности это разные вопросы, и второй из первого не вытекает.
Второе: отсутствие метки происхождения ничего не доказывает, а её наличие доказывает не то, что нам нужно. Content Credentials говорят о происхождении и истории изменений файла, а не об истинности изображённого. Это разные уровни утверждения, и путать их легко.
Третье: не все изображения сделаны одинаково. Диффузия в латентном пространстве это распространённый подход, но не единственный; разные модели обучались на разных данных с разной фильтрацией. Поэтому любое общее рассуждение о «нейросетях и фото» упирается в предел: без знания конкретной модели и её данных мы можем описать механизм, но не предсказать конкретную выдачу.
Четвёртое: совпадение не есть причинность. Если сгенерированная картинка похожа на реальное событие, это не значит, что модель «знала» о нём. Она двигалась по статистике, а совпадение объясняется тем, что реальность тоже часть статистики.
И пятое, честное. Механизм мы понимаем в общих чертах, но не можем заранее перечислить все признаки, по которым вы отличите конкретный снимок. Здесь предел объяснения, и его лучше обозначить, чем замаскировать афоризмом.
Итог
Причина убедительного «фото» не находка, а построение: шум, многократное его удаление, сжатое представление, слова как направление. Следствие — правдоподобие без гарантии правды, перенос перекосов данных в результат и необходимость отдельно проверять происхождение файла. Совпадение с реальностью остаётся совпадением, пока не доказано обратное.
А теперь вопрос к вам: когда вы в следующий раз остановитесь на слишком удачном кадре, что именно вы станете проверять первым, источник файла или собственную уверенность?
Источники:
- Ho J., Jain A., Abbeel P. Denoising Diffusion Probabilistic Models — https://arxiv.org/abs/2006.11239 — тезис: модель начинает со случайного шума и многократно удаляет его, приближая результат к распределению обучающих изображений.
- Rombach R. et al. High-Resolution Image Synthesis with Latent Diffusion Models — https://arxiv.org/abs/2112.10752 — тезисы: диффузия в сжатом латентном представлении с последующим декодированием в пиксели существенно снижает вычислительные затраты и делает практичной генерацию высокого разрешения; механизм cross-attention связывает слова с элементами формируемой сцены.
- Radford A. et al. Learning Transferable Visual Models From Natural Language Supervision (CLIP) — https://arxiv.org/abs/2103.00020 — тезисы: связь слов с визуальными понятиями приобретается на парах «изображение — подпись»; CLIP обучался сопоставлять правильные пары среди 400 млн пар из интернета.
- OpenAI. DALL·E 2 pre-training mitigations — https://openai.com/index/dall-e-2-pre-training-mitigations/ — тезисы: фильтрация части данных могла усилить гендерный дисбаланс в результатах; модель иногда воспроизводила обучающие изображения при многократных повторах похожих картинок, дедупликация снижала этот эффект.
- NIST. Generative AI Profile — https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=958388 — тезис: генеративные модели могут создавать правдоподобный, но фактически ложный визуальный материал.
- C2PA Specifications, Explainer — https://spec.c2pa.org/specifications/specifications/2.2/explainer/Explainer.html — тезис: криптографические Content Credentials подтверждают происхождение и историю изменений файла, но не истинность изображённого.
Нравится смотреть в корень? Подпишитесь — каждую неделю новая причинно-следственная связь.
#технологиипростымисловами #какработаетгаджет #причинаиследствие #какэтоработает #популярныевопросы