Фейки, Которых Мы Не Заметили

от

Автор: Денис Аветисян

Исследование показывает, что усилия по обнаружению дипфейков сосредоточены не на самых распространенных угрозах, а на менее актуальных.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Телеграм канал
Исследование 438 научных работ за период с 2017 по 2025 год выявило доминирование категории угроз, связанных с публичными лицами (T1) во всех годах, при этом значительно меньше внимания уделяется другим категориям (T2, T4, T5), особенно в последние годы - к 2025 году зафиксирована лишь одна работа по T2, одна по T5 в 2023 году, а работы по T4 отсутствовали вовсе, при этом около 39% исследований в данной выборке посвящены методам обнаружения угроз, не относящимся к конкретной классификации.
Исследование 438 научных работ за период с 2017 по 2025 год выявило доминирование категории угроз, связанных с публичными лицами (T1) во всех годах, при этом значительно меньше внимания уделяется другим категориям (T2, T4, T5), особенно в последние годы — к 2025 году зафиксирована лишь одна работа по T2, одна по T5 в 2023 году, а работы по T4 отсутствовали вовсе, при этом около 39% исследований в данной выборке посвящены методам обнаружения угроз, не относящимся к конкретной классификации.

Анализ показывает, что существующие системы обнаружения дипфейков не соответствуют реальному распределению вреда, игнорируя такие проблемы, как неконсенсуальное интимное изображение (NCII) и клонирование голоса.

Несмотря на десятилетний прогресс в области обнаружения дипфейков, реальные угрозы значительно отличаются от прогнозируемых. В статье ‘The Deepfakes We Missed: We Built Detectors for a Threat That Didn’t Arrive’ авторы утверждают, что фокус исследований на манипуляциях с публичными фигурами оказался ошибочным, поскольку доминирующим вредом стали интимные изображения, созданные без согласия, мошенничество с клонированием голоса и эмоциональные манипуляции. Анализ инцидентов 2022-2026 годов показывает, что масштабная дезинформация с участием известных личностей, к которой готовились исследователи, не материализовалась. Не соответствует ли существующий разрыв между направлением исследований и реальным распределением вреда главной помехой для эффективной защиты от дипфейков, и какие новые исследовательские приоритеты необходимо определить?

В погоне за вниманием: Искажение приоритетов в исследованиях дипфейков

Современные исследования в области обнаружения дипфейков демонстрируют выраженную зависимость от медийного внимания. Анализ научной литературы показывает, что подавляющее большинство работ — около 71% — сосредоточено на выявлении поддельных видео с участием знаменитостей. Этот акцент, обусловленный широким освещением в прессе, приводит к дисбалансу в распределении ресурсов и отвлечению внимания от более серьёзных угроз, связанных с технологией синтетических медиа. В то время как усилия направлены на защиту публичных личностей, остаются уязвимыми сферы, где дипфейки могут нанести значительно больший вред, например, в политической дезинформации или создании компрометирующих материалов, а также в контексте распространения незаконного контента.

Исследования в области обнаружения дипфейков демонстрируют заметный перекос в распределении ресурсов, обусловленный влиянием медийной заметности. Внимание исследователей непропорционально концентрируется на создании систем, способных выявлять подмены лиц знаменитостей, в то время как более серьезные и потенциально опасные применения синтетических медиа остаются недофинансированными и недостаточно изученными. Такая “ориентация на заметность” создает искаженную картину, где усилия и средства направляются не на устранение наиболее значимых угроз, а на решение задач, привлекающих больше внимания в средствах массовой информации. В результате, разработка технологий защиты отстает от темпов развития угроз, что подтверждается резким увеличением случаев использования искусственного интеллекта для создания противоправного контента, в частности, материалов, связанных с сексуальной эксплуатацией несовершеннолетних.

Наблюдаемая тенденция в области выявления дипфейков приводит к тому, что усилия сосредоточены на решении наиболее заметных, но не самых опасных проблем. В результате, вместо разработки упреждающих мер, направленных на предотвращение злоупотреблений, научное сообщество вынуждено реагировать на уже возникшие угрозы. Ярким подтверждением этого является экспоненциальный рост отчетов о материалах с детской порнографией, созданных с использованием искусственного интеллекта — за один год, с 2024 по 2025 год, их количество увеличилось в 260 раз. Эта статистика подчеркивает, что текущий подход к борьбе с синтетическим медиа является запаздывающим и не позволяет эффективно противостоять самым разрушительным последствиям развития технологий.

Анализ данных за 2017-2025 годы показывает, что, несмотря на линейный рост числа публикаций по теме T1 (общественно значимые личности), количество выявленного вредоносного контента, такого как сгенерированные ИИ материалы CSAM и жалобы на синтетические медиа, увеличивается на несколько порядков, что свидетельствует о несопоставимом росте потенциального вреда.
Анализ данных за 2017-2025 годы показывает, что, несмотря на линейный рост числа публикаций по теме T1 (общественно значимые личности), количество выявленного вредоносного контента, такого как сгенерированные ИИ материалы CSAM и жалобы на синтетические медиа, увеличивается на несколько порядков, что свидетельствует о несопоставимом росте потенциального вреда.

За гранью лиц: Карта ландшафта вреда

Вредные синтетические медиа выходят далеко за рамки имитации знаменитостей, всё чаще проявляясь в форме несанкционированных интимных изображений (NCII) и клонирования голоса для мошеннических схем. Несанкционированные интимные изображения, созданные с использованием технологий deepfake, представляют собой серьёзную угрозу конфиденциальности и могут нанести значительный эмоциональный и психологический ущерб жертвам. Клонирование голоса, в свою очередь, активно используется злоумышленниками для совершения финансовых махинаций, таких как обманные звонки и выдача себя за доверенных лиц с целью получения доступа к конфиденциальной информации или денежным средствам. Распространение таких материалов усиливается благодаря доступности программного обеспечения и вычислительных ресурсов, что делает обнаружение и пресечение этих действий особенно сложной задачей.

Распространение синтетического контента между пользователями, минуя централизованные платформы, существенно увеличивает риски, связанные с дипфейками. Традиционные стратегии модерации, ориентированные на удаление контента с крупных сайтов, оказываются неэффективными в условиях децентрализованного обмена файлами через файлообменные сети, мессенджеры и социальные сети. Это затрудняет выявление и блокировку вредоносного контента, поскольку он быстро распространяется между пользователями, минуя механизмы контроля и проверки. Отсутствие единой точки контроля усложняет задачу отслеживания происхождения и распространения дипфейков, а также затрудняет привлечение к ответственности лиц, создающих и распространяющих их.

Организации, такие как IWF (Интернет-следопыт) и IC3 (Internet Crime Complaint Center), активно реагируют на угрозы, связанные с синтетическими медиа, однако сталкиваются со значительными трудностями в поддержании темпа развития технологий. Данное отставание подтверждается ежегодным увеличением количества жалоб, поступающих в IC3, связанных с синтетическим контентом. По данным IC3, число сообщений о злоупотреблениях, связанных с дипфейками и другими формами синтетических медиа, демонстрирует устойчивый рост, что указывает на необходимость совершенствования методов обнаружения и пресечения подобных инцидентов, а также повышения осведомленности пользователей о существующих рисках.

Ловушка бенчмарков: Замкнутый круг ограниченных решений

Использование стандартных наборов данных для оценки, таких как FaceForensics++, DFDC и Celeb-DF, хотя и способствовало первоначальному прогрессу в области обнаружения дипфейков, может непреднамеренно ограничивать охват исследований. Оптимизация моделей исключительно под конкретные сценарии, представленные в этих наборах, приводит к тому, что они становятся менее эффективными при обнаружении дипфейков, созданных с использованием новых, ранее не встречавшихся методов или в иных условиях. Это создает замкнутый цикл, где улучшение показателей на стандартных наборах данных не гарантирует повышения общей устойчивости систем обнаружения к реальным угрозам.

Использование стандартных наборов данных для оценки, таких как FaceForensics++, DFDC и Celeb-DF, приводит к эффекту “наследственной оптимизации”, когда модели глубокого обучения адаптируются к специфическим характеристикам этих наборов. Этот процесс создает замкнутый цикл, в котором алгоритмы совершенствуются в распознавании манипуляций, присутствующих в тренировочных данных, но теряют способность обобщать и эффективно обнаруживать новые, ранее не встречавшиеся типы подделок. Оптимизация под конкретные сценарии ограничивает применимость моделей к реальным угрозам, которые постоянно эволюционируют и отличаются от условий, зафиксированных в эталонных наборах данных.

Истинный прогресс в области обнаружения дипфейков требует методов, ориентированных на междоменную обобщающую способность — способность обнаруживать любые синтетические манипуляции, независимо от их происхождения. Текущие исследования показывают крайне низкие результаты (0) в оценке эффективности обнаружения на платформах обмена сообщениями и в зашифрованных каналах (T5), что указывает на существенное ограничение существующих моделей в применении к реальным сценариям, отличным от лабораторных условий и стандартных наборов данных. Приоритетное развитие должно быть направлено на создание алгоритмов, устойчивых к изменениям в способах создания дипфейков и каналах их распространения, а не на оптимизацию под конкретные типы атак или датасеты.

Анализ 438 научных работ за период с 2017 по 2025 год показывает, что угрозы, связанные с публичными деятелями ([latex]T1[/latex]), преобладают, в то время как категории угроз, требующие повышенного внимания, представлены незначительным количеством исследований (например, [latex]T2[/latex] в 2025 году, [latex]T5[/latex] в 2023 году, отсутствие [latex]T4[/latex]), а категория
Анализ 438 научных работ за период с 2017 по 2025 год показывает, что угрозы, связанные с публичными деятелями (T1), преобладают, в то время как категории угроз, требующие повышенного внимания, представлены незначительным количеством исследований (например, T2 в 2025 году, T5 в 2023 году, отсутствие T4), а категория «Другое», включающая обзоры и методы обнаружения, оценивается на основе подвыборки из 389 работ.

Этические основы и перспективы развития

При создании и использовании наборов данных для систем искусственного интеллекта этические аспекты приобретают первостепенное значение, особенно когда речь идет о конфиденциальной информации. Небрежное отношение к данным может привести к непреднамеренным последствиям, таким как создание и распространение нежелательного контента, имитирующего личность другого человека (NCII — Non-Consensual Intimate Imagery). Внимание к вопросам конфиденциальности, согласия на использование данных и потенциальных рисков, связанных с утечкой информации, необходимо на всех этапах — от сбора и обработки до хранения и применения. Осознание возможности злоупотребления данными и принятие мер по предотвращению таких ситуаций — залог ответственной разработки и внедрения технологий искусственного интеллекта, способствующих безопасности и защите прав человека.

База данных инцидентов, связанных с искусственным интеллектом (AIID), представляет собой критически важный ресурс для систематизации и анализа реального вреда, причиненного системами ИИ. Она аккумулирует информацию о конкретных случаях, демонстрирующих негативные последствия применения искусственного интеллекта, начиная от предвзятых алгоритмов, приводящих к несправедливым решениям, и заканчивая случаями дезинформации, созданной с помощью генеративных моделей. Изучение этих инцидентов позволяет выявлять закономерности, определять уязвимости и оценивать эффективность существующих мер защиты. Накопленные данные служат основой для разработки более эффективных алгоритмов, этических норм и регуляторных рамок, направленных на минимизацию рисков и обеспечение ответственного использования технологий искусственного интеллекта, тем самым способствуя формированию более безопасного и справедливого будущего.

Разработка методов обнаружения синтетического контента в режиме реального времени становится критически важной задачей в связи с распространением технологий, таких как клонирование голоса. Неспособность оперативно выявлять поддельные аудио- и видеоматериалы, особенно в контексте прямых коммуникаций и децентрализованных сетей, создает значительные риски для безопасности и доверия. Исследования в этой области направлены на создание алгоритмов, способных анализировать характеристики контента — от акустических паттернов в голосе до микроскопических несоответствий в изображении — и определять его подлинность с минимальной задержкой. Успешная реализация таких систем позволит предотвратить мошенничество, дезинформацию и другие негативные последствия, связанные с распространением синтетических материалов в цифровой среде.

Исследование показывает, что усилия по обнаружению дипфейков часто направлены не туда, где реальный вред. Погоня за технологическими новшествами, вроде манипуляций с видео публичных личностей, отвлекает ресурсы от более распространённых и опасных угроз — несанкционированного использования личных данных (NCII) и клонирования голоса. Как однажды заметил Линус Торвальдс: «Плохой код не убьет вас, но он заставит вас хотеть умереть». Точно так же и бесполезные детекторы дипфейков не остановят злоумышленников, но создадут иллюзию безопасности, пока реальный ущерб наносится другими, менее заметными методами. Эта ситуация демонстрирует, что технологическое совершенство само по себе не гарантирует решение проблемы, если не учитывать контекст и реальные угрозы.

Что дальше?

Исследование, представленное в данной работе, неизбежно возвращает к вопросу о природе технологического долга. Построение детекторов для угроз, которые так и не материализовались в ожидаемом масштабе, — закономерность, знакомая по многим «революционным» направлениям. Красивые графики точности и производительности рано или поздно превращаются в монолитные системы, которые сложно адаптировать к новым, реальным вызовам. Похоже, что концентрация усилий на манипуляциях с видео публичных лиц — это лишь удобный, но не самый значимый фронт борьбы.

Проблема, вероятно, не в несовершенстве алгоритмов, а в ошибочной модели угрозы. Распространение NCII и развитие технологий клонирования голоса — это уже не гипотетические риски, а вполне конкретные инструменты, активно используемые для обмана и манипуляций. Если тесты показывают зелёный свет, это не означает, что система работает, а скорее то, что она проверяет не то, что нужно.

Будущие исследования должны сместить фокус с поиска артефактов в видео на более широкую проблему верификации идентичности в цифровом пространстве. Бесконечная масштабируемость детекторов — это красивая сказка, которую рассказывали и в 2012-м. Более реалистичным подходом представляется разработка систем, способных оценивать доверие к источнику информации, а не только к её содержанию.

Оригинал статьи: https://arxiv.org/pdf/2605.12075.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-05-13 11:58