Автор: Денис Аветисян
Новое исследование демонстрирует, как современные модели обработки языка могут автоматически обнаруживать и классифицировать дезинформационные кампании в социальных сетях.
Предлагается LLM-ориентированный конвейер для обнаружения и кластеризации манипулятивных стратегических нарративов, использующий методы prompt engineering и плотностной кластеризации.
Актуальность выявления манипулятивных политических нарративов возрастает на фоне распространения дезинформации в социальных сетях, однако их дифференциация от обоснованной критики представляет собой сложную задачу. В работе ‘LLM-based Detection of Manipulative Political Narratives’ предложен новый вычислительный подход, использующий большие языковые модели (LLM) и методы неконтролируемого кластеризации для автоматического выявления и структурирования таких нарративов в крупномасштабных данных. Разработанный конвейер, сочетающий в себе prompt-инжиниринг и алгоритм HDBSCAN, позволил идентифицировать 41 отчетливый кластер манипулятивных нарративов, анализируя более 1.2 миллиона публикаций. Возможно ли дальнейшее совершенствование данного подхода для проактивного противодействия кампаниям по дезинформации и защиты общественного мнения?
Иллюзия Стратегии: Как формируются и распространяются манипулятивные нарративы
В настоящее время, иностранное информационное манипулирование и вмешательство (FIMI) всё чаще опирается на создание и распространение стратегических нарративов для достижения своих целей. Вместо прямой дезинформации, акцент смещается на формирование целостных историй, которые апеллируют к существующим убеждениям и ценностям аудитории. Эти нарративы, тщательно сконструированные и адаптированные к конкретным социокультурным контекстам, направлены на подрыв доверия к институтам, поляризацию общества и, в конечном итоге, дестабилизацию политических процессов. Эффективность подобных стратегий обусловлена их способностью обходить традиционные механизмы проверки фактов и влиять на общественное мнение посредством эмоционального воздействия и формирования определенной картины мира.
Стратегические нарративы, используемые в кампаниях иностранного информационного вмешательства и манипулирования, часто эксплуатируют существующие социальные противоречия и тревоги. Такие концепции, как “теория великой замены” или утверждения о “климатической диктатуре”, не возникают в вакууме, а целенаправленно апеллируют к уже существующим страхам и недовольствам в обществе. Цель подобных нарративов — не просто распространение определенной идеи, а подрыв доверия к демократическим институтам, поляризация общественного мнения и, в конечном итоге, дестабилизация политических процессов. Они намеренно усиливают раскол, предлагая упрощенные, часто искаженные объяснения сложных проблем, и таким образом подрывают способность общества к конструктивному диалогу и поиску компромиссов.
Понимание процесса формирования стратегических нарративов, а не просто анализ их содержания, представляется ключевым для разработки эффективных стратегий противодействия. Исследования показывают, что манипулятивные сообщения редко возникают изолированно; они конструируются посредством сложных сетей акторов, использующих определенные фреймы, риторические приемы и каналы распространения. Изучение этой архитектуры нарратива — выявление ключевых тем, связей между различными утверждениями и методов убеждения — позволяет не просто разоблачать ложные утверждения, но и предвидеть дальнейшую эволюцию этих нарративов, а также нейтрализовать их воздействие на общественное мнение и политические процессы. Сосредоточение внимания на способах построения сообщений дает возможность выявить уязвимости в логике и структуре нарративов, что значительно повышает эффективность контрмер по сравнению с простым опровержением отдельных фактов.
В связи с экспоненциальным ростом количества стратегических нарративов, используемых в кампаниях иностранного информационного вмешательства и манипулирования, возникает острая необходимость в автоматизированных методах их выявления и анализа. Ручной мониторинг и проверка огромных объемов информации, распространяемых в цифровом пространстве, попросту невозможны. Автоматизированные системы, использующие алгоритмы обработки естественного языка и машинного обучения, способны обнаруживать закономерности в тексте, выявлять ключевые темы и нарративные структуры, а также определять источники и каналы распространения дезинформации. Это позволяет оперативно реагировать на возникающие угрозы, оценивать масштабы воздействия и разрабатывать эффективные стратегии противодействия, направленные на защиту информационного пространства и поддержание стабильности демократических процессов.
Автоматизированное Выявление Нарративов: LLM-Основанный Конвейер
Представленный конвейер обработки данных, основанный на больших языковых моделях (LLM), предназначен для автоматического выявления и кластеризации нарративов, относящихся к категории FIMI (False Information Manipulation Intent — намеренное распространение ложной информации). Он обеспечивает сквозной процесс — от получения текстовых данных до группировки схожих нарративов — без участия человека. Конвейер позволяет обрабатывать значительные объемы текстовой информации, выявляя паттерны манипулятивного контента и облегчая анализ дезинформационных кампаний. Автоматизация процесса позволяет оперативно реагировать на распространение FIMI-нарративов и повышает эффективность борьбы с дезинформацией.
В отличие от традиционного тематического моделирования, данный конвейер использует подход, основанный на Intent-Driven Embedding (встраивании, ориентированном на намерения). Этот метод позволяет улавливать не просто тему сообщения, но и манипулятивные намерения, скрытые в тексте. Традиционное тематическое моделирование идентифицирует ключевые слова и темы, в то время как Intent-Driven Embedding анализирует семантические особенности текста для определения целей и стратегий, используемых автором для воздействия на аудиторию. Это достигается путем анализа языковых конструкций, эмоциональной окраски и контекста сообщения, что позволяет более точно выявлять и классифицировать FIMI-нарративы.
В основе конвейера автоматического обнаружения нарративов используется модель Qwen3-Embedding-8B для создания векторных представлений текста. В отличие от традиционных методов, фокусирующихся на тематическом моделировании, Qwen3-Embedding-8B ориентирована на захват семантического значения и манипулятивных сигналов, содержащихся в тексте. Это достигается путем преобразования текстовых данных в многомерные векторы, где близость векторов отражает семантическую схожесть и наличие признаков манипулятивного воздействия. Полученные векторные представления служат основой для последующей фильтрации и кластеризации нарративов.
Для повышения точности выявления манипулятивных нарративов используется фильтрация на основе Prompt-Based Reasoning, реализованная с помощью языковой модели Qwen3.5-122B-A10B-FP8. Этот метод позволяет отсеивать нерелевантные векторные представления текста, созданные на этапе Intent-Driven Embedding. В ходе первичной фильтрации достигнуты следующие показатели: точность (precision) составляет 0.66, а полнота (recall) — 0.92. Данные показатели демонстрируют способность системы эффективно идентифицировать релевантные нарративы, минимизируя при этом количество ложных срабатываний.
Кластеризация и Уменьшение Размерности для Группировки Нарративов
Для подготовки многомерных векторных представлений текстов к последующей кластеризации используется метод понижения размерности UMAP (Uniform Manifold Approximation and Projection). UMAP позволяет снизить размерность данных, сохраняя при этом топологическую структуру исходного пространства, что критически важно для сохранения семантической близости между текстовыми нарративами. В данном контексте, UMAP преобразует высокоразмерные эмбеддинги, полученные в результате применения Intent-Driven Embedding, в более компактное представление, что значительно повышает эффективность и скорость работы алгоритма кластеризации HDBSCAN, а также снижает вычислительные затраты.
Кластеризация нарративов выполнена с использованием алгоритма HDBSCAN, предназначенного для выявления плотных областей схожих текстов и отделения выбросов. Для минимизации шума и повышения точности выделения значимых кластеров, параметры HDBSCAN были оптимизированы с установкой минимального размера кластера равным 400. Данная настройка позволяет исключить из анализа небольшие группы нарративов, которые могут являться случайными отклонениями или недостаточно репрезентативными для формирования устойчивых тем.
BERTopic — это расширение возможностей Intent-Driven Embedding, направленное на усовершенствование процесса тематического моделирования для более точного выявления нюансированных манипулятивных техник. В отличие от стандартных методов, BERTopic использует c-TF-IDF для создания репрезентативных профилей тем и кластеризует документы на основе этих профилей. Это позволяет не только выделить общие темы в повествованиях, но и идентифицировать более тонкие стратегии воздействия, которые могли бы остаться незамеченными при использовании традиционных подходов к тематическому моделированию. Применение BERTopic обеспечивает более детальный анализ манипулятивных техник, выявляя их специфические особенности и позволяя классифицировать различные типы воздействия.
Комбинация методов UMAP, HDBSCAN и BERTopic обеспечивает автоматическую категоризацию и анализ больших объемов текстовых данных, содержащихся в нарративах о мошеннических финансовых схемах (FIMI). Предварительное понижение размерности с помощью UMAP позволяет эффективно применять HDBSCAN для выявления плотных скоплений схожих нарративов, отделяя их от выбросов. BERTopic, используя полученные векторные представления, уточняет процесс тематического моделирования, что позволяет выявлять закономерности и нюансы в манипулятивных техниках, используемых в данных нарративах.
За пределами Обнаружения: Последствия для Стратегий Контрнарративов
Идентификация ключевых нарративов, используемых акторами, осуществляющими информационное вмешательство (FIMI), позволяет разрабатывать целенаправленные контрнарративы, направленные на разоблачение скрытых аргументов и манипулятивных техник. Вместо простого опровержения отдельных утверждений, такой подход фокусируется на деконструкции всей логической структуры, лежащей в основе дезинформации. Это позволяет не только нейтрализовать текущие информационные атаки, но и повысить устойчивость общества к будущим попыткам влияния, поскольку формируется критическое мышление и способность распознавать манипуляции. Акцентирование внимания на фундаментальных ошибках в рассуждениях и эмоциональных приемах, используемых для искажения реальности, способствует более эффективному противодействию дезинформации, чем простое предоставление альтернативных фактов.
Анализ структуры повествований, используемых участниками кампаний по дезинформации, выходит за рамки простого выявления ложных утверждений. Ключевым является понимание того, как информация представлена — какие рамки используются для ее подачи, какие эмоциональные призывы задействованы для усиления воздействия на аудиторию. Изучение этих нарративных структур позволяет выявить скрытые манипуляции и предвзятости, даже если используемые факты формально верны. Определение часто используемых шаблонов, таких как апелляция к страху, создание образа врага или использование упрощенных объяснений сложных явлений, открывает возможности для разработки целенаправленных ответов, способных нейтрализовать деструктивное влияние и восстановить доверие к достоверной информации. Именно такое глубокое понимание структуры повествований является основой для создания эффективных стратегий противодействия.
Предлагаемый подход к анализу информационных кампаний не ограничивается выявлением заведомо ложных сведений — дезинформации или неточной информации — мисинформации. Он охватывает и так называемую малинформацию — использование фактов, представленных вне контекста или намеренно искаженных, с целью нанесения вреда. Этот тип манипуляции особенно опасен, поскольку оперирует достоверными данными, создавая иллюзию правдоподобности и затрудняя разоблачение. Анализ малинформации требует глубокого понимания контекста, источников и целей распространения информации, что позволяет выявить скрытые мотивы и механизмы воздействия на аудиторию. Именно поэтому расширение сферы анализа до включения малинформации значительно повышает эффективность противодействия враждебным информационным операциям.
Автоматизированный характер разработанного подхода позволяет осуществлять непрерывный мониторинг и адаптацию к меняющимся нарративам. Система способна отслеживать распространение информации в режиме реального времени и оперативно реагировать на новые тенденции. Важно отметить, что логика, используемая моделью для анализа и оценки последовательности аргументов, демонстрирует 95,5%-ное согласие с оценками, данными экспертами-людьми, что подтверждает высокую степень её когерентности и надежности. Такая степень соответствия человеческому суждению делает систему ценным инструментом для выявления и анализа манипулятивных стратегий, а также для разработки эффективных контрнарративов.
Исследование демонстрирует стремление к упрощению сложного ландшафта политических нарративов. Авторы предлагают метод, основанный на больших языковых моделях и кластеризации, чтобы выявить скоординированные кампании дезинформации. Этот подход, по сути, является попыткой отделить сигнал от шума, выявить ключевые темы и закономерности в огромном потоке данных социальных сетей. Как точно подметила Барбара Лисков: «Программы должны быть спроектированы так, чтобы их можно было легко понять». Подобно этому, представленный анализ стремится к ясности в понимании манипулятивных стратегий, упрощая их для выявления и противодействия, не усложняя их ненужными деталями. Акцент на плотностной кластеризации, такой как HDBSCAN, подчеркивает желание увидеть общую картину, а не зарыться в отдельных элементах.
Куда же дальше?
Представленный подход, несомненно, демонстрирует потенциал больших языковых моделей в выявлении манипулятивных нарративов. Однако, легко поддаться искушению увидеть в этом готовое решение. На самом деле, это лишь первый, пусть и многообещающий, шаг. Они назвали это «фреймворком», чтобы скрыть панику, ведь истинная сложность заключается не в алгоритмах, а в постоянно эволюционирующих тактиках дезинформации. Полагаться на автоматическое выявление без критического осмысления — наивно.
Будущие исследования должны сосредоточиться не столько на усложнении моделей, сколько на их адаптивности. Необходимо разработать методы, позволяющие моделям самостоятельно распознавать новые нарративные стратегии, а не просто искать известные паттерны. Особое внимание следует уделить объяснимости принимаемых решений — чтобы не просто констатировать факт манипуляции, но и понимать, как она осуществляется.
В конечном итоге, зрелость в этой области заключается не в количестве обработанных терабайт данных, а в способности отличать сигнал от шума, простоту от умышленного запутывания. И, возможно, в осознании того, что некоторые нарративы лучше оставить нетронутыми, позволив им самоуничтожиться под собственной же абсурдностью.
Оригинал статьи: https://arxiv.org/pdf/2605.14354.pdf
Связаться с автором: https://www.linkedin.com/in/avetisyan/
Смотрите также:
- ПРОГНОЗ ДОЛЛАРА К ШЕКЕЛЮ
- БИТКОИН ПРОГНОЗ. BTC криптовалюта
- SOL ПРОГНОЗ. SOL криптовалюта
- TON ПРОГНОЗ. TON криптовалюта
- ЭФИРИУМ ПРОГНОЗ. ETH криптовалюта
- SIREN ПРОГНОЗ. SIREN криптовалюта
- ZEC ПРОГНОЗ. ZEC криптовалюта
- ДОГЕКОИН ПРОГНОЗ. DOGE криптовалюта
- ПРОГНОЗ ЕВРО К ШЕКЕЛЮ
- MYX ПРОГНОЗ. MYX криптовалюта
2026-05-18 01:48