Искусственный взгляд: Что видят люди и машины на одних и тех же изображениях

Автор: Денис Аветисян

Новое исследование анализирует, как методы объяснимого искусственного интеллекта помогают понять, чем отличаются сгенерированные ИИ изображения от реальных, и совпадают ли эти объяснения с человеческим восприятием.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Телеграм канал

На основе анализа ответов участников, представленных в исследовании, выявлена зависимость между визуальным восприятием сгенерированных изображений и соответствующими масками, созданными людьми, при этом ограниченное количество текстовых ответов лишь подтверждает сложность интерпретации и субъективность оценки визуального контента.

Комплексная оценка методов объяснимого ИИ для обнаружения сгенерированных изображений показывает соответствие между визуальными подсказками, используемыми человеком, и объяснениями, предоставляемыми определенными алгоритмами, особенно в зависимости от категории изображения и архитектуры детектора.

Растущая распространенность изображений, сгенерированных искусственным интеллектом, создает парадокс: несмотря на высокую реалистичность, их обнаружение остается сложной задачей. В работе ‘AI-Generated Images: What Humans and Machines See When They Look at the Same Image’ представлено комплексное исследование методов выявления таких изображений с акцентом на объяснимость принимаемых решений. Полученные результаты демонстрируют, что определенные методы объяснимого ИИ (XAI) позволяют выявлять визуальные признаки, соответствующие человеческому восприятию, и зависят от архитектуры детектора и категории изображения. Какие перспективы открываются для разработки более эффективных и прозрачных систем обнаружения поддельных изображений, учитывающих когнитивные особенности человека?

Иллюзия Реальности: Как ИИ Подрывает Доверие к Визуальному Контенту

Распространение фотореалистичных изображений, созданных искусственным интеллектом, ставит перед специалистами серьезную задачу по проверке их подлинности. Всё большее количество визуального контента, доступного в сети, формируется алгоритмами, что затрудняет определение, является ли изображение результатом реальной съемки или цифровой симуляции. Эта тенденция представляет собой значительный вызов для систем аутентификации контента, поскольку традиционные методы, основанные на анализе метаданных или признаков, характерных для физических камер, становятся менее эффективными. В результате, возрастает риск распространения дезинформации и манипулирования общественным мнением посредством поддельных визуальных материалов, что требует разработки новых, более надежных методов проверки подлинности изображений.

Современные методы обнаружения изображений, сгенерированных искусственным интеллектом, сталкиваются со значительными трудностями в обобщении и часто оказываются уязвимыми перед намеренными искажениями. Исследования показывают, что алгоритмы, эффективно определяющие “машинное происхождение” на одном наборе данных, демонстрируют заметное снижение точности при работе с изображениями, полученными иными способами или подвергшимися незначительным, но целенаправленным изменениям. Такие “состязательные атаки” — внесение едва заметных модификаций, не влияющих на восприятие человеком, — способны обмануть большинство существующих детекторов, указывая на необходимость разработки более устойчивых и универсальных подходов к верификации подлинности визуального контента. Проблема усугубляется постоянным совершенствованием генеративных моделей, способных создавать все более реалистичные и трудноотличимые от оригинальных изображений.

Надежное распознавание подлинности визуальной информации приобретает все большее значение в эпоху стремительного развития технологий искусственного интеллекта. Распространение фотореалистичных изображений, созданных ИИ, ставит под угрозу доверие к визуальному контенту и открывает возможности для манипуляций и распространения дезинформации. Отсутствие эффективных методов верификации может привести к серьезным последствиям в различных сферах, включая журналистику, политику и общественную безопасность. Поэтому разработка и внедрение надежных систем обнаружения подделок, способных противостоять уловкам ИИ, является критически важной задачей для сохранения информационного пространства и защиты общества от вводящих в заблуждение материалов.

Визуальные объяснения, полученные различными методами XAI применительно к одной модели обнаружения, сопоставляются с объяснениями, основанными на ответах людей, при этом исключены методы, дающие схожие результаты.

Заглянуть Внутрь: XAI для Анализа Детекторов ИИ

Методы объяснимого искусственного интеллекта (XAI) предоставляют инструменты для анализа логики работы детекторов ИИ, позволяя понять, какие факторы влияют на принятие решений. В отличие от «черных ящиков», XAI позволяет визуализировать и интерпретировать внутренние процессы модели, выявляя наиболее значимые признаки, используемые для классификации. Это особенно важно для оценки надежности и предвзятости детекторов ИИ, а также для обеспечения прозрачности и доверия к их результатам. Анализ с использованием XAI помогает определить, опирается ли детектор на релевантные характеристики входных данных или на случайные артефакты, что критически важно для практического применения и отладки систем.

Градиентные методы объяснимого искусственного интеллекта (XAI), такие как Integrated Gradients (IG) и Grad-CAM, позволяют определить области изображения, оказывающие наибольшее влияние на решение детектора. IG вычисляет градиент выходных данных модели по отношению к входным пикселям, интегрируя эти градиенты вдоль пути от базового изображения (например, полностью черного) к входному. Grad-CAM, в свою очередь, использует градиенты потока через последний сверточный слой для создания карты тепловой активности, указывающей на наиболее важные области изображения. Обе техники предоставляют визуальное представление о том, какие части изображения способствовали положительному или отрицательному результату обнаружения, что позволяет анализировать и верифицировать процесс принятия решений детектором.

Методы объяснимого искусственного интеллекта (XAI) для обнаружения ИИ можно классифицировать на две основные группы: методы атрибуции градиентов и методы, основанные на пространственных признаках. Атрибуция градиентов, например, Integrated Gradients и Grad-CAM, выявляют важность признаков путем анализа градиентов выходных данных модели по отношению к входным данным. Методы, основанные на пространственных признаках, в свою очередь, сосредотачиваются на определении областей изображения, оказывающих наибольшее влияние на решение модели, используя механизмы внимания или выделение релевантных частей изображения. Разнообразие этих подходов позволяет исследователям и разработчикам выбирать наиболее подходящий метод в зависимости от конкретной задачи и архитектуры модели, обеспечивая более глубокое понимание процесса принятия решений ИИ-детектором.

Применение методов объяснимого искусственного интеллекта (XAI) для анализа детекторов ИИ требует использования надежных обучающих наборов данных, таких как ImageNet и Microsoft COCO, для обеспечения обобщающей способности. Недостаточный размер или предвзятость данных может привести к тому, что XAI-методы будут выделять несущественные или вводящие в заблуждение признаки, влияющие на процесс детектирования. Обучение на больших и разнообразных наборах данных, включающих широкий спектр изображений и сценариев, позволяет XAI-методам более точно определять ключевые признаки, действительно влияющие на решения ИИ-детекторов, и повышает надежность интерпретаций, полученных с их помощью. Это критически важно для валидации и улучшения работы детекторов, а также для выявления потенциальных уязвимостей и предвзятостей.

Анализ методов XAI показал, что оптимальная степень сходства достигается при варьировании параметров <span class="katex-eq" data-katex-display="false">RR</span> и α в зависимости от исследуемого изображения, при этом наилучшие результаты по категориям изображений достигаются при <span class="katex-eq" data-katex-display="false">R=8.8\%</span> и <span class="katex-eq" data-katex-display="false">\alpha=3</span>, что снижает предвзятость к конкретному методу XAI. — Анализ методов XAI показал, что оптимальная степень сходства достигается при варьировании параметров $RR$ и α в зависимости от исследуемого изображения, при этом наилучшие результаты по категориям изображений достигаются при $R=8.8\%$ и $\alpha=3$ , что снижает предвзятость к конкретному методу XAI.

Человеческий Взгляд: Подтверждение Результатов Анализа

Недавно было проведено исследование с участием людей для оценки их способности распознавать изображения, сгенерированные искусственным интеллектом, и выявлять визуальные признаки, на которые они опираются при этом. В ходе исследования участникам предъявлялись изображения, и их просили определить, были ли они созданы ИИ, а также указать конкретные области изображения, которые указывали на искусственное происхождение. Целью исследования являлось определение закономерностей в восприятии человеком артефактов, возникающих при генерации изображений ИИ, и сопоставление этих закономерностей с результатами, полученными с помощью методов объяснимого ИИ (XAI).

В ходе исследования участникам предлагалось предоставить текстовое описание областей изображения, которые, по их мнению, указывают на то, что изображение сгенерировано искусственным интеллектом. Эти описания включали детали, касающиеся текстуры, освещения, анатомических неточностей и других визуальных артефактов. Анализ этих текстовых объяснений позволил выявить наиболее распространенные визуальные признаки, на которые обращают внимание люди при оценке подлинности изображений, и сопоставить их с областями, выделяемыми методами объяснимого ИИ (XAI). Полученные данные позволили установить, какие конкретно визуальные элементы наиболее сильно влияют на восприятие изображений, сгенерированных ИИ, с точки зрения человека.

В ходе исследования была предпринята попытка установить соответствие между областями изображения, выделенными методами объяснимого искусственного интеллекта (XAI), и артефактами, воспринимаемыми человеком. Для оценки степени этого соответствия использовалась метрика косинусной близости между масками, полученными методами XAI, и областями, указанными участниками исследования. Максимальное значение косинусной близости, достигнутое для определенных категорий изображений, составило 0.8, что указывает на значительную корреляцию между областями, выделяемыми алгоритмами XAI, и областями, привлекающими внимание человека при оценке сгенерированных изображений.

Результаты исследования показали высокую степень соответствия между областями изображения, на которые обращают внимание люди при определении его искусственного происхождения, и областями, выделяемыми методами XAI на основе градиентов. В частности, 69.7% текстовых пояснений участников исследования, описывающих признаки, указывающие на искусственное происхождение изображения, касались элементов, находящихся внутри самого изображения, что подтверждает соответствие между человеческим восприятием и областями, выделяемыми XAI. Это свидетельствует о том, что градиентные методы XAI способны эффективно выявлять визуальные артефакты, которые также воспринимаются людьми как индикаторы генерации изображения искусственным интеллектом.

Анализ ответов людей показал, что наличие человеческих фигур или лиц в изображениях (<span class="katex-eq" data-katex-display="false">SOLO(+)</span> категории) сильнее указывает на признаки искусственного интеллекта, чем отсутствие таковых (<span class="katex-eq" data-katex-display="false">SOLO(-)</span>), при этом каждый ответ мог включать указание на несколько объектов. — Анализ ответов людей показал, что наличие человеческих фигур или лиц в изображениях ( $SOLO(+)$ категории) сильнее указывает на признаки искусственного интеллекта, чем отсутствие таковых ( $SOLO(-)$ ), при этом каждый ответ мог включать указание на несколько объектов.

Многообразие Подходов: К Устойчивому Детектированию

Разработка многомодального детектора искусственного интеллекта стала возможной благодаря объединению данных, полученных в ходе изучения человеческого восприятия, и методов объяснимого искусственного интеллекта (XAI). Исследователи использовали понимание того, как люди определяют сгенерированный контент, чтобы создать систему, анализирующую изображения и текстовые объяснения одновременно. Такой подход позволяет детектору учитывать не только визуальные характеристики, но и семантические рассуждения, что значительно повышает его точность и устойчивость к целенаправленным атакам, направленным на обман системы. Благодаря этому, детектор способен более эффективно выявлять признаки искусственного происхождения, основываясь на комплексном анализе представленных данных.

Разработанный детектор искусственного интеллекта объединяет анализ визуальных характеристик изображений с текстовыми объяснениями, предоставленными людьми. В ходе исследования участники описывали признаки, указывающие на искусственное происхождение изображений, и эти данные были использованы для обучения алгоритма. Сочетание визуального восприятия и семантического рассуждения позволяет детектору не только идентифицировать признаки, генерируемые искусственным интеллектом, но и понимать почему определенные элементы изображения вызывают подозрения. Такой подход значительно повышает точность и устойчивость детектора к попыткам обмана, поскольку он опирается на комплексное понимание, а не только на поверхностные визуальные характеристики.

Разработанный детектор, объединяющий визуальный анализ и семантическое рассуждение, демонстрирует повышенную точность и устойчивость к преднамеренным искажениям. Вместо того, чтобы полагаться исключительно на пиксельные характеристики изображения, система анализирует содержание и логическую связность визуальных элементов в контексте текстовых объяснений. Такой подход позволяет обнаруживать манипуляции, направленные на обман детектора путем незначительных изменений в изображении, поскольку семантическое понимание помогает отделить реальное содержание от искусственно созданных артефактов. Комбинирование этих двух модальностей значительно повышает надежность системы, делая ее более устойчивой к атакам, направленным на обход защиты и выдачу ложных результатов.

Исследование выявило, что в 62.3% случаев участники указывали на лицо и кисти рук как на ключевые признаки, указывающие на искусственное происхождение изображения. Данный факт подчеркивает важность фокусировки многомодальных детекторов именно на анализе этих областей. Обнаружение несоответствий или неестественности в изображении лиц и рук может стать основой для более точного определения, сгенерировано ли изображение искусственным интеллектом. Акцент на этих визуальных элементах позволяет повысить устойчивость детектора к различным манипуляциям и попыткам обхода, поскольку именно эти части изображения часто становятся предметом неточностей при генерации нейронными сетями.

Сравнение методов XAI на основе косинусного сходства между масками, сгенерированными для детектора ResNet50[fc+l4], показывает, что методы дают сопоставимые результаты для различных генераторов изображений из набора AIText2Image.

Исследование методов объяснимого искусственного интеллекта (XAI) для выявления сгенерированных изображений неизбежно сталкивается с субъективностью человеческого восприятия. Подобно тому, как архитектура системы — это компромисс, переживший деплой, так и XAI-методы оказываются вынужденными согласовывать свои объяснения с тем, как люди фактически смотрят на изображения. В работе справедливо отмечается, что эффективность этих методов зависит от категории изображения и архитектуры детектора. Как заметил Дэвид Марр: «Представление о мире должно быть достаточным для руководства действиями». В данном контексте, «достаточность» представления о том, что является «настоящим» или «сгенерированным» изображением, определяется не только алгоритмом, но и тем, как этот алгоритм соотносится с человеческим визуальным опытом.

Что дальше?

Исследование, тщательно разбирающее, что видят люди и машины на одном и том же изображении, закономерно наталкивается на проблему, которая, казалось бы, была решена ещё во времена первых bash-скриптов: интерпретация результата. Теперь это назовут Explainable AI и привлекут инвестиции. Но суть остаётся прежней — сложная система, когда-то бывшая простым алгоритмом, требует объяснений, которые, в свою очередь, подвержены субъективности и архитектурным особенностям. Неудивительно, что человеческое восприятие и «объяснения» машины иногда совпадают — это лишь говорит о том, что в обоих случаях есть некие базовые, примитивные шаблоны.

Впрочем, говорить о фундаментальном прорыве пока рано. Необходимо учитывать, что задача детектирования «искусственных» изображений — это гонка вооружений, в которой генеративные модели неизбежно будут эволюционировать, обходя текущие методы обнаружения. И тогда «объяснения» этих детекторов станут ещё более сложными и, вероятно, ещё менее соответствующими человеческому восприятию. В конечном итоге, технический долг — это просто эмоциональный долг с коммитами — мы постоянно усложняем системы, чтобы отложить неизбежное.

Начинаешь подозревать, что вся эта борьба за «объяснимость» — это лишь способ оправдать сложность, которая изначально была избыточной. И документация, как всегда, соврёт. Вместо того, чтобы искать идеальные XAI-методы, возможно, стоит сосредоточиться на создании более устойчивых к манипуляциям базовых моделей, или, что ещё вероятнее, смириться с тем, что абсолютной достоверности в этой области достичь невозможно.

Оригинал статьи: https://arxiv.org/pdf/2605.06143.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-05-10 06:44