Иллюзии машин: как бороться с выдумками больших языковых моделей

Автор: Денис Аветисян

Новое исследование объясняет причины появления ложной информации в системах, использующих графовые базы знаний для улучшения ответов, и предлагает методы обнаружения этих ошибок.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Бесплатный Телеграм канал

В процессе ответа на вопросы, основанные на базе знаний, система GraphRAG демонстрирует склонность к галлюцинациям, что указывает на присущую ей уязвимость к генерации недостоверной информации при извлечении знаний из графовых структур.

В работе исследуются проблемы концентрации внимания и семантической привязки в системах GraphRAG и предложены интерпретируемые метрики и детектор для смягчения этих проблем.

Несмотря на успехи больших языковых моделей, проблема галлюцинаций, то есть генерации не соответствующих действительности утверждений, остается актуальной, особенно при работе со структурированными знаниями. В работе ‘Detecting Hallucinations in Graph Retrieval-Augmented Generation via Attention Patterns and Semantic Alignment’ исследуется, как LLM интерпретируют и используют знания, полученные из графовых баз данных в системах GraphRAG. Показано, что LLM склонны к чрезмерной концентрации внимания на отдельных путях в графе и недостаточному семантическому согласованию с извлеченными знаниями, что приводит к галлюцинациям. Возможно ли разработать более надежные системы GraphRAG, учитывающие эти ограничения и обеспечивающие более точную генерацию ответов?

Иллюзия Знания: Вызовы Обоснованного Рассуждения

Современные большие языковые модели демонстрируют удивительную беглость речи и способность генерировать текст, имитирующий человеческий. Однако, за этой внешней впечатляющей способностью скрывается существенная проблема: недостаток фактической достоверности и глубины рассуждений. Модели часто склонны к “галлюцинациям” — генерации информации, не имеющей под собой реальных оснований или противоречащей общеизвестным фактам. Несмотря на кажущуюся логичность, ответы могут быть лишены внутренней согласованности и содержать неправдоподобные утверждения, что ставит под сомнение надежность и применимость этих систем в критически важных областях, требующих безошибочной точности и обоснованности.

Традиционные большие языковые модели, основанные на архитектуре Transformer, сталкиваются с существенными ограничениями в представлении и логическом анализе взаимосвязей между фактами и понятиями. В отличие от систем, использующих явно структурированные базы знаний, Transformer обрабатывает текст последовательно, что затрудняет выявление и использование отношений между элементами информации. Эта особенность архитектуры препятствует формированию глубокого понимания контекста и может приводить к неточностям или выдуманным сведениям в ответах. Модель, по сути, оперирует статистическими закономерностями в тексте, а не семантическими связями, что снижает ее способность к надежному выводу и логическому обоснованию ответов, особенно в сложных или неоднозначных ситуациях.

Ограничение возможностей больших языковых моделей в области логических умозаключений обусловлено принципом последовательной обработки текста. В отличие от человеческого мышления, способного одновременно учитывать множество взаимосвязей, модели последовательно анализируют слова, что препятствует эффективному использованию структурированных знаний. В результате, даже располагая обширным объемом информации, модель испытывает трудности с установлением логических связей и формированием достоверных ответов. Этот подход не позволяет ей эффективно интегрировать знания из различных источников и выявлять противоречия, что приводит к так называемым «галлюцинациям» и неточностям в ответах. Более того, последовательная обработка ограничивает способность модели к обобщению и экстраполяции знаний на новые ситуации, требующие комплексного анализа и учета взаимосвязей.

Модель склонна к выбору кратчайших путей в графе знаний в ущерб релевантному контексту и, полагаясь на параметрическую память вместо извлеченных знаний, генерирует неточные результаты даже при наличии достоверной информации в подграфе.

Обогащение Знанием: Подход Генерации с Расширенным Поиском

Генерация с расширенным поиском (RAG) решает проблему ограничений больших языковых моделей (LLM) путем обоснования ответов на внешних знаниях, извлеченных на основе входного запроса. В отличие от традиционных LLM, которые полагаются исключительно на параметры, полученные в процессе обучения, RAG динамически извлекает релевантную информацию из внешних источников, таких как базы знаний, документы или веб-страницы, и использует ее в качестве контекста для генерации ответа. Этот процесс позволяет модели предоставлять более точную, актуальную и обоснованную информацию, снижая вероятность генерации галлюцинаций или неверных сведений, а также расширяя область знаний, доступных модели.

Метод генерации с расширенным поиском (RAG) повышает достоверность ответов больших языковых моделей (LLM) за счет предоставления релевантного контекста, полученного из внешних источников, непосредственно во время генерации ответа. Это существенно снижает вероятность выдачи неподтвержденной или неточной информации, поскольку модель опирается не только на свои внутренние знания, но и на факты, извлеченные из проверенных источников, соотносимые с исходным запросом. Таким образом, RAG действует как механизм верификации, дополняющий возможности LLM и повышающий надежность генерируемого контента.

Традиционные системы RAG (Retrieval-Augmented Generation) часто используют методы поиска информации в неструктурированном текстовом формате. Это означает, что релевантные данные извлекаются из больших объемов текста без учета внутренней структуры или семантических связей. В результате, такие системы могут упускать важные детали или предоставлять менее точные ответы, поскольку не используют преимущества структурированных знаний, представленных, например, в виде баз данных знаний или онтологий. Использование структурированных представлений данных позволяет более эффективно находить и использовать релевантную информацию, повышая точность и надежность генерируемых ответов.

Шаблон запроса для GraphRAG обеспечивает ответы на вопросы, используя линейно представленные тройки знаний и заданный формат ответа.

Граф Знаний как Основа Рассуждений: Подход Graph-Based RAG

В отличие от традиционных систем RAG, извлекающих информацию из неструктурированного текста, Graph-Based RAG использует графы знаний для получения структурированных подграфов. Вместо поиска релевантных текстовых фрагментов, система идентифицирует и извлекает взаимосвязанные сущности и отношения, представленные в графе знаний. Это позволяет системе более точно отвечать на запросы, поскольку информация извлекается не из отдельных предложений, а из структурированного представления взаимосвязей между понятиями. Такой подход обеспечивает более полное и контекстуально релевантное извлечение информации по сравнению с традиционными методами RAG.

Представление знаний в виде сущностей и отношений позволяет системам поиска информации, использующим RAG (Retrieval-Augmented Generation), осуществлять более точный и нюансированный поиск. Вместо поиска по ключевым словам в неструктурированном тексте, система оперирует взаимосвязанными данными. Это означает, что при запросе учитываются не только сами сущности, но и связи между ними, что позволяет выявлять сложные взаимосвязи, релевантные для запроса пользователя. Например, при запросе о влиянии лекарства на болезнь, система может учитывать связи между лекарством, болезнью, симптомами и другими связанными сущностями, обеспечивая более полный и контекстуально-обоснованный ответ, чем простой поиск по тексту.

Линеаризация подграфов представляет собой процесс преобразования структурированных данных, полученных из графа знаний, в последовательные форматы, пригодные для обработки большими языковыми моделями (LLM). Этот процесс включает в себя сериализацию узлов и ребер подграфа в текстовую строку, сохраняя при этом информацию об отношениях между сущностями. Существуют различные методы линеаризации, такие как обход графа в глубину или ширину, а также использование предметно-ориентированных языков, например, SPARQL или RDF, для представления подграфа в виде последовательности триплетов. Преобразованная последовательность затем передается в LLM, позволяя модели использовать знания, представленные в графе, для более точного и обоснованного ответа на запрос пользователя, поскольку модель оперирует не просто фрагментами текста, а структурированной информацией о связях между сущностями.

Верификация Знаний и Выявление Галлюцинаций: Инструменты Оценки

Степень опоры на кратчайшие пути (Path Reliance Degree) представляет собой метрику, оценивающую, насколько модель при обработке информации фокусируется на наиболее прямых связях внутри извлеченного графа знаний. Высокое значение этой метрики указывает на то, что модель преимущественно использует непосредственные отношения между сущностями, что свидетельствует о надежной опоре на фактологическую основу. Исследования показали, что различия в степени опоры на кратчайшие пути позволяют статистически значимо (p < 0.001) различать ответы, содержащие фактические ошибки (галлюцинации), и правдивые ответы, подтвержденные извлеченными знаниями. Таким образом, данный показатель выступает важным инструментом для оценки надежности и обоснованности ответов, генерируемых моделями, работающими с графами знаний.

Оценка семантического соответствия позволяет количественно определить степень согласованности между внутренними представлениями модели и извлеченными знаниями, что служит показателем успешной интеграции информации. Данный показатель, вычисленный в ходе исследований, демонстрирует умеренный эффект размера $0.60$, указывая на то, что модель способна достаточно эффективно соотносить свои внутренние логические структуры с внешними знаниями, представленными в виде триплетов. Высокий показатель семантического соответствия свидетельствует о более глубоком понимании и использовании извлеченной информации при формировании ответов, что повышает их достоверность и релевантность.

Для выявления потенциальных галлюцинаций и обеспечения достоверности генерируемых ответов применяется комбинация алгоритмов XGBoost и обнаружения логических противоречий на основе естественной языковой обработки (NLI). XGBoost, как мощный алгоритм машинного обучения, позволяет выявить сложные паттерны, указывающие на несоответствия между сгенерированным текстом и извлечёнными знаниями. В свою очередь, NLI (Natural Language Inference) определяет, следует ли из извлечённых фактов (предпосылка) сгенерированный ответ (вывод). В случае обнаружения противоречия, система сигнализирует о потенциальной галлюцинации, что позволяет повысить надежность и точность системы, предоставляя более правдивую и обоснованную информацию пользователю.

Оценка на бенчмарке MetaQA-1hop продемонстрировала высокую эффективность подхода Graph-Based RAG в повышении точности ответов и снижении количества фактических ошибок. Модель достигла показателя AUC в 0.8341 при использовании Llama-2-7b и 0.8506 с Qwen2.5-7B. Макро-средний показатель F1-меры составил 0.7524 для Llama-2-7b, что свидетельствует о стабильной производительности. Важно отметить, что анализ показал статистически значимую разницу (p < 0.001) между галлюцинаторными и правдивыми ответами, основанную на степени опоры на кратчайшие пути (Path Reliance Degree), что подтверждает возможность надежной идентификации недостоверной информации.

Анализ ящиков с усами для показателей PRD и SAS выявил, что галлюцинаторные ответы характеризуются большей зависимостью от кратчайшего пути и более слабой семантической привязкой по сравнению с правдивыми ответами.

Исследование закономерностей внимания и семантического выравнивания в системах GraphRAG выявляет, что даже структурированные знания не гарантируют отсутствие галлюцинаций в больших языковых моделях. Авторы подчеркивают, что концентрация внимания на нерелевантных участках графа знаний и недостаточное семантическое сопоставление с запросом становятся ключевыми факторами, приводящими к неточностям. Этот процесс напоминает слова Блеза Паскаля: «Все великие дела требуют времени». Подобно тому, как создание надежной системы требует терпения и последовательного улучшения, так и преодоление галлюцинаций в LLM требует глубокого анализа и постоянной доработки механизмов внимания и семантического выравнивания. Настоящая устойчивость системы начинается там, где кончается уверенность в её безошибочности, и признание этой уязвимости — первый шаг к её преодолению.

Что дальше?

Работа, представленная в этой статье, скорее диагностирует симптом, чем предлагает лекарство. Подобно тому, как внимание к паттернам внимания выявляет места, где модель отрывается от якоря знаний, она не гарантирует возвращения к нему. Каждая зависимость от графа знаний — это обещание, данное прошлому, обещание релевантности, которое, как показывает практика, часто нарушается. Попытки «починить» модель, обусловленные обнаружением галлюцинаций, неизбежно приводят к новым формам ошибок — к новым пророчествам о будущих сбоях.

Стремление к «контролю» над генерацией текста через метрики семантического выравнивания — это иллюзия, требующая соглашения об уровне обслуживания (SLA). В конечном счёте, система не строится, а вырастает. Будущие исследования, вероятно, сосредоточатся не на подавлении галлюцинаций, а на создании экосистем, где они становятся управляемыми, даже полезными. Представьте себе систему, способную признать свою неопределённость, а не маскировать её.

Всё, что построено, когда-нибудь начнёт само себя чинить. Вопрос не в том, чтобы создать идеальную систему, а в том, чтобы построить систему, способную к самокоррекции, к адаптации к неизбежным искажениям, которые возникают в процессе генерации. Это не вопрос алгоритмов, а вопрос эволюции.

Оригинал статьи: https://arxiv.org/pdf/2512.09148.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-12 04:21