Автор: Денис Аветисян
Исследователи разработали систему, способную выявлять признаки теорий заговора в тексте и анализировать психологические маркеры, используя возможности больших языковых моделей.
В статье представлена агентная архитектура, использующая открытые языковые модели для точного извлечения психолингвистических маркеров и выявления конспирологических утверждений с повышенной устойчивостью к враждебным атакам.
Несмотря на успехи в обработке естественного языка, одновременное извлечение психолингвистических маркеров и выявление поддержки теорий заговора остается сложной задачей. В данной работе, представленной под названием ‘AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection’, предлагается новый агентный подход на базе больших языковых моделей, демонстрирующий превосходство в решении этой проблемы. Разработанная архитектура, включающая динамическую цепочку рассуждений и систему «анти-эхо-камеры«, позволяет достичь значительного улучшения показателей, в частности, достигнут результат в 0.79 Macro F1 на подзадаче S2. Возможно ли дальнейшее расширение возможностей агентных систем для более глубокого понимания и анализа сложных социальных явлений?
Временные Парадоксы: Вызовы Обнаружения Поддержки Конспирологических Теорий
Выявление скрытого одобрения конспирологических теорий становится все более важной задачей, однако традиционные методы анализа текста часто оказываются неэффективными из-за сложности понимания нюансов языка и контекста. Проблема заключается в том, что алгоритмы испытывают трудности с разграничением искренней веры, сатиры или даже иронических высказываний, что усугубляется эффектом, известным как закон По, когда пародия неотличима от искреннего убеждения. В результате, системы часто не способны правильно интерпретировать тон и намерение автора, что приводит к ложным срабатываниям и снижает точность определения реального одобрения конспирологических идей.
Определение подлинной поддержки конспирологических теорий сталкивается с серьезными трудностями, поскольку грань между искренней верой, сатирой, объективным репортажем и даже ироничными высказываниями часто оказывается размытой. Эта проблема усугубляется так называемым законом По, согласно которому трудно отличить искреннее выражение экстремальных взглядов от пародий на них. В результате, автоматизированные системы анализа текста нередко ошибочно принимают сатирические или информационные материалы, посвященные конспирологии, за прямое одобрение соответствующих идей, что создает значительные проблемы для выявления реальных сторонников теории заговора в информационном пространстве.
Существующие методы обнаружения поддержки теорий заговора часто сталкиваются с так называемой “ловушкой репортёра”, когда нейтральное освещение конспирологических идей ошибочно принимается за их одобрение. Данная проблема возникает из-за неспособности алгоритмов различать фактическое выражение веры в заговор и простое описание или обсуждение этих идей в контексте новостной статьи или научного анализа. В результате, система может ложно идентифицировать репортаж, цитирующий сторонника теории заговора, как подтверждение этой теории, что существенно снижает точность и надежность автоматизированных систем обнаружения конспирологического контента и требует разработки более тонких подходов к анализу текста и контекста.
AILS-NTUA: Агентурный Подход к Надежному Обнаружению
AILS-NTUA использует агентурный подход к анализу текста, заключающийся в координации работы нескольких языковых моделей (LLM) для обеспечения многосторонней оценки. Вместо последовательной обработки, система задействует параллельные агенты, каждый из которых выполняет специализированную задачу анализа. Это позволяет учитывать различные аспекты текста и снижает вероятность односторонней интерпретации. Координация агентов осуществляется посредством централизованного механизма управления, обеспечивающего обмен информацией и согласование результатов. Такая архитектура позволяет эффективно выявлять сложные закономерности и повышает надежность анализа по сравнению с традиционными подходами, использующими единую языковую модель.
В основе системы AILS-NTUA лежит концепция «Анти-Эхо-Камеры Совета» (Anti-Echo Chamber Council) — параллельного набора агентов, предназначенных для снижения предвзятости и повышения надежности обнаружения подтверждений (endorsement detection). Данная архитектура предполагает использование нескольких независимых языковых моделей, каждая из которых анализирует текст с различных точек зрения, что позволяет минимизировать влияние односторонних интерпретаций и повысить устойчивость к манипуляциям. В отличие от традиционных подходов, где одна модель может укрепить существующие предубеждения, параллельная обработка данных несколькими агентами позволяет выявлять и нейтрализовать субъективные оценки, обеспечивая более объективную оценку содержания.
Архитектура AILS-NTUA использует GPT-5.2 в качестве базовой языковой модели (LLM) и дополняется методом Dynamic Discriminative Chain-of-Thought (DD-CoT) для углубленного семантического анализа текста. Применение DD-CoT позволяет более точно выявлять и интерпретировать сложные лингвистические паттерны, что, в свою очередь, обеспечивает высокую производительность системы. На задаче извлечения психолингвистических маркеров конспирологического характера, система достигает макро-F1 оценки в 0.81, что подтверждает эффективность используемого подхода к семантическому анализу.
Обучение для Устойчивости: Контрастное Поиск и Сложные Отрицательные Примеры
В рамках системы AILS-NTUA применяется метод контрастного поиска (contrastive retrieval) для формирования обучающего набора данных, включающего как положительные, так и отрицательные примеры. Этот подход позволяет обеспечить всестороннее покрытие возможных сценариев и повысить устойчивость модели к различным типам входных данных. Контрастный поиск подразумевает извлечение примеров, семантически близких к запросу (положительные примеры) и, что особенно важно, примеров, которые могут ввести модель в заблуждение (отрицательные примеры). Такой подход гарантирует, что модель обучается не только на типичных случаях, но и на сложных, граничных ситуациях, что необходимо для достижения высокой точности и надежности в задачах обнаружения конспирологических теорий.
В процессе обучения модели AILS-NTUA активно используются так называемые “сложные негативные примеры” (hard negatives) — образцы данных, которые трудно корректно классифицировать. Несмотря на сложность, эти примеры предоставляют ценный сигнал для обучения, позволяя модели лучше различать тонкие нюансы и повышать общую точность. В частности, использование hard negatives позволило увеличить точность классификации сложных негативных примеров при обнаружении теорий заговора с 0.62 до 0.79. Это демонстрирует существенное улучшение способности модели к распознаванию сложных и неоднозначных данных.
Для эффективного поиска примеров, необходимых для обучения модели, AILS-NTUA использует векторную базу данных ChromaDB. ChromaDB позволяет быстро находить и извлекать релевантные примеры, что существенно ускоряет процесс обучения. Использование векторного поиска, в отличие от традиционных методов, обеспечивает более точное соответствие между запросом и извлекаемыми данными, что приводит к повышению производительности модели при обнаружении теорий заговора. Благодаря ChromaDB, время, затрачиваемое на поиск необходимых данных для обучения, значительно сокращается, что позволяет быстрее и эффективнее обучать модель.
Эффективность процесса извлечения примеров для обучения напрямую зависит от семантического различения. Для обеспечения точного поиска примеров, релевантных задаче обнаружения теорий заговора, система должна различать тонкие семантические нюансы между позитивными и негативными примерами. Неспособность к семантическому различению приводит к извлечению нерелевантных или ложноположительных примеров, что ухудшает качество обучающей выборки и снижает точность модели. Использование векторных представлений и метрик семантического сходства, таких как косинусное расстояние, критически важно для точного определения релевантности примеров и повышения эффективности обучения.
Проверка и Переносимость: За Пределами GPT-5.2
Исследование продемонстрировало адаптивность разработанной системы AILS-NTUA, успешно перенесенной на архитектуру Qwen-3-8B-Instruct. Данный перенос подтверждает потенциал системы для широкого применения в различных языковых моделях, не ограничиваясь исходной платформой. Успешная интеграция с Qwen-3-8B-Instruct указывает на общую применимость предложенного подхода к извлечению психолингвистических маркеров, открывая возможности для улучшения точности выявления склонности к теориям заговора в различных контекстах и моделях обработки естественного языка. Адаптивность системы позволяет предполагать ее эффективность и в других задачах, связанных с анализом и интерпретацией текстовой информации.
Для обеспечения надежности и возможности повторного использования результатов, весь экспериментальный процесс был тщательно задокументирован с использованием платформы MLflow. Это позволило не только зафиксировать все параметры и этапы исследования, но и создать полную трассировку данных и моделей, что крайне важно для верификации полученных выводов и воспроизведения результатов другими исследователями. Более того, использование MLflow облегчает дальнейшую оптимизацию и развитие системы, позволяя легко отслеживать изменения, сравнивать различные конфигурации и эффективно проводить A/B-тестирование, что способствует повышению точности и надежности модели в будущем.
Применение данного подхода позволило значительно повысить точность выявления склонности к одобрению теорий заговора за счет расширенной экстракции психолингвистических маркеров. В результате, был достигнут взвешенный показатель F1 в 0.79, что на 0.03 превышает базовый уровень. Особенно заметно улучшение в оценке роли действующего лица (Actor F1) — на 2.7 пункта — благодаря усовершенствованному семантическому анализу и пониманию взаимосвязей между элементами текста. Это свидетельствует о том, что более глубокое изучение лингвистических особенностей высказываний позволяет более эффективно выявлять паттерны мышления, связанные с принятием конспирологических идей.
Исследование, представленное в данной работе, демонстрирует, что даже самые передовые системы, использующие большие языковые модели, подвержены старению и требуют постоянной адаптации. Как отмечал Эдсгер Дейкстра: «Программирование — это искусство делать так, чтобы машины делали то, что вы хотите». Однако, если не учитывать естественную деградацию производительности со временем, даже тщательно разработанные алгоритмы, способные к выявлению конспирологических теорий и психолингвистических маркеров, могут устареть. Работа подчеркивает важность создания надежных и адаптивных систем, способных противостоять изменениям в данных и сохранять свою эффективность в долгосрочной перспективе. Постоянная проверка и переоценка — ключевые элементы в поддержании актуальности и точности подобных моделей.
Куда смотрит горизонт?
Представленная работа, демонстрируя возможности агентивных языковых моделей в выявлении конспирологических нарративов и психолингвистических маркеров, лишь приоткрывает завесу над сложной проблемой. Ведь сама идея “обнаружения” конспирологии не лишена иронии: подобно попытке зафиксировать ускользающую тень, алгоритм неизбежно упускает тончайшие нюансы, формирующие убеждения. Эффективность системы, как и любой другой инфраструктуры, — это не абсолютная величина, а лишь временная фаза редкой гармонии во времени, прежде чем накопится “технический долг” в виде новых манипулятивных стратегий.
Особый интерес представляет вопрос об “устойчивости” моделей к враждебным воздействиям. Ведь сама природа дезинформации заключается в постоянной адаптации, в поиске новых способов обхода защиты. Недостаточно просто “научить” модель распознавать известные паттерны; необходимо создать систему, способную к самообучению и предвидению новых угроз. Это сродни борьбе с эрозией: укрепление одного участка не гарантирует защиты от разрушения в другом.
Будущие исследования, вероятно, сосредоточатся на разработке более сложных агентивных архитектур, способных к глубокому анализу контекста и пониманию мотиваций, лежащих в основе конспирологических теорий. Но истинный вызов заключается не в создании идеального “детектора лжи”, а в понимании, почему люди склонны верить в то, что им говорят, и как можно построить более устойчивые к манипуляциям системы убеждений.
Оригинал статьи: https://arxiv.org/pdf/2603.04921.pdf
Связаться с автором: https://www.linkedin.com/in/avetisyan/
Смотрите также:
- БИТКОИН ПРОГНОЗ. BTC криптовалюта
- ПРОГНОЗ ДОЛЛАРА К ШЕКЕЛЮ
- MYX ПРОГНОЗ. MYX криптовалюта
- ЭФИРИУМ ПРОГНОЗ. ETH криптовалюта
- SOL ПРОГНОЗ. SOL криптовалюта
- ПРОГНОЗ ДОЛЛАРА К ЗЛОТОМУ
- OM/USD
- Золото прогноз
- SAROS ПРОГНОЗ. SAROS криптовалюта
- РИППЛ ПРОГНОЗ. XRP криптовалюта
2026-03-08 08:23