Финансовые отчёты: извлечение знаний с помощью языковых моделей

от

Автор: Денис Аветисян

Исследование посвящено автоматическому извлечению структурированных данных из финансовых документов с использованием больших языковых моделей и адаптации схем для повышения точности.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Телеграм канал

Автоматическое извлечение триплетов знаний из финансовых отчётов с применением больших языковых моделей и минимизацией галлюцинаций.

Несмотря на ценность корпоративных финансовых отчетов как источника структурированных знаний для построения графов знаний, отсутствие размеченных данных затрудняет оценку качества извлечения информации. В статье ‘LLM-based Triplet Extraction from Financial Reports’ представлен полуавтоматизированный конвейер для извлечения троек «субъект-предикат-объект», использующий онтологически-ориентированные метрики, такие как соответствие онтологии и достоверность, вместо оценки на основе эталонных данных. Исследование демонстрирует, что автоматическое построение онтологии позволяет добиться 100% соответствия схеме и значительно снизить частоту галлюцинаций субъектов — с 65.2% до 1.6% — благодаря гибридной стратегии верификации. Какие перспективы открывает адаптация схем и автоматизированная проверка информации для повышения надежности извлечения знаний из финансовых текстов?

Построение графов знаний из неструктурированных данных: от отчетов к пониманию

В настоящее время организации всё чаще обращаются к неструктурированным источникам данных, таким как годовые отчёты корпораций, для обоснования стратегических решений. Это связано с тем, что подобная документация содержит ценную информацию о деятельности компании, её достижениях, рисках и перспективах, которая зачастую недоступна из традиционных, структурированных баз данных. Анализ годовых отчётов позволяет выявлять тенденции, оценивать конкурентную среду и принимать более взвешенные управленческие решения, что критически важно для поддержания конкурентоспособности и достижения долгосрочного успеха. В связи с этим, умение эффективно извлекать и анализировать данные из неструктурированных источников становится ключевым фактором для принятия обоснованных стратегических решений.

Для извлечения ценной информации из неструктурированных данных, таких как корпоративные отчеты, необходима трансформация этих данных в структурированные графы знаний (Knowledge Graphs, KG). Этот процесс критически зависит от точного извлечения триплетов (Triplet Extraction, TE) — базовых единиц информации, представляющих собой связи между сущностями. Именно триплеты, состоящие из субъекта, предиката и объекта, формируют основу графа знаний, позволяя компьютеру понимать и анализировать взаимосвязи между различными понятиями. Достижение высокой точности TE является ключевым фактором для создания надежных и полезных графов знаний, поскольку ошибки в извлечении триплетов могут привести к неверным выводам и принятию неоптимальных решений.

Проблема достоверности извлеченных знаний: выявление галлюцинаций

В процессе построения баз знаний (Knowledge Graphs, KG) ключевой проблемой является «верность» (Faithfulness) — мера соответствия извлеченной информации исходному тексту. Верность определяет, насколько точно и обоснованно факты, извлеченные из текста, отражают содержащуюся в нем информацию. Низкий уровень верности приводит к включению в базу знаний ложных или необоснованных утверждений, что снижает ее надежность и полезность. Оценка верности является сложной задачей, требующей не просто сопоставления слов, а понимания семантического содержания текста и установления связи между извлеченными фактами и их источником.

Галлюцинации в процессе извлечения знаний, проявляющиеся в виде галлюцинаций субъекта (SH), объекта (OH) и отношения (RH), напрямую снижают достоверность и качество создаваемых знаний. Галлюцинация субъекта возникает, когда извлекаемая информация приписывается неверному субъекту, не упомянутому в исходном тексте. Галлюцинация объекта происходит, когда извлекаемая информация указывает на объект, отсутствующий в тексте. Галлюцинация отношения возникает, когда извлекаемое отношение между субъектом и объектом не подтверждается исходным текстом. Все эти типы галлюцинаций приводят к формированию неверных связей в графе знаний и, следовательно, к снижению его общей надежности и полезности.

Традиционные методы извлечения знаний, основанные исключительно на сопоставлении с образцами (pattern matching), оказываются недостаточными для выявления тонких ошибок, таких как галлюцинации в знаниях. Эти методы эффективно обнаруживают прямые соответствия, но не способны оценить семантическую корректность извлеченных фактов относительно исходного текста. В частности, они не учитывают контекст и не могут отличить истинные утверждения от тех, которые являются результатом неверной интерпретации или экстраполяции, что приводит к формированию неверных связей и объектов в базе знаний. Следовательно, для обеспечения достоверности извлеченной информации необходимы более сложные подходы, учитывающие семантическое понимание и контекстную валидацию.

Обеспечение целостности знаний: онтология и методы валидации

Четко определенная онтология служит основой для валидации извлеченных троек и предотвращения галлюцинаций отношений (Relation Hallucination, RH). Она предоставляет формальную структуру, определяющую сущности, их атрибуты и допустимые отношения между ними. Использование онтологии позволяет проверить, соответствуют ли извлеченные факты установленным знаниям и логическим связям, что критически важно для обеспечения достоверности и непротиворечивости информации. Отсутствие онтологической основы приводит к невозможности автоматической проверки извлеченных данных на соответствие реальным знаниям, что значительно повышает риск генерации ложных или нерелевантных фактов.

Онтологии, необходимые для валидации извлеченных триплетов и предотвращения галлюцинаций отношений, могут быть построены двумя основными способами: вручную (Manual Ontology) или автоматически, на основе анализа текста (Automatic Ontology). Ручное построение онтологий обеспечивает высокую точность и контроль над структурой знаний, но требует значительных временных и трудовых затрат, а также экспертных знаний в предметной области. Автоматическое построение, напротив, позволяет быстро создавать онтологии на основе больших объемов текстовых данных, однако может приводить к менее точной структуре и требовать дополнительных этапов очистки и корректировки. Выбор между этими подходами зависит от конкретных требований к точности, скорости создания и доступности ресурсов.

Для верификации существования сущностей и оценки достоверности извлеченных троек применяются методы сопоставления с регулярными выражениями (Regex Matching) и использование больших языковых моделей (LLM) в качестве арбитров (LLM-as-a-Judge). Сопоставление с регулярными выражениями обеспечивает точную проверку соответствия сущностей заранее определенным шаблонам. LLM-as-a-Judge, в свою очередь, оценивает общую правдоподобность и согласованность извлеченных троек, выявляя потенциальные галлюцинации и обеспечивая контроль над соответствием схемы. Комбинация этих методов позволяет проводить критическую проверку извлеченных знаний, минимизируя риск генерации ложной информации и повышая надежность системы.

Соответствие онтологии (Ontology Conformance, OC) представляет собой количественную метрику, определяющую степень соответствия извлеченной информации установленной онтологии, что служит важным показателем качества знаний. В ходе нашего исследования удалось добиться 100% соответствия онтологии (OC) при использовании стратегии автоматического построения онтологии \mathcal{O}_{Auto} во всех конфигурациях, что свидетельствует о высокой степени согласованности извлеченных данных с заданной схемой знаний.

В ходе проведенного исследования была достигнута нулевая доля случаев субъективной галлюцинации (SH) при использовании автоматической онтологии 𝒪Auto и модели ℳ1, что свидетельствует о высокой достоверности извлеченных данных. Кроме того, зафиксирована нулевая доля случаев реляционной галлюцинации (RH) во всех моделях при использовании 𝒪Auto, что подтверждает улучшенное соответствие извлеченной информации заданной схеме и онтологии. Данные результаты демонстрируют эффективность автоматической генерации онтологии в обеспечении целостности знаний и предотвращении ложных утверждений.

Гибридный метод верификации значительно снизил количество ложно идентифицированных случаев Субъектных Галлюцинаций (Subject Hallucinations), исправляя большинство ложных срабатываний по сравнению со строгой базой на основе регулярных выражений (Regex). Это было достигнуто за счет комбинирования различных техник проверки, позволяющих более точно определять валидность извлеченных субъектов. В ходе исследований, гибридный подход продемонстрировал улучшенные показатели по сравнению с использованием исключительно регулярных выражений, минимизируя количество неверно идентифицированных субъектов, что свидетельствует о повышении точности и надежности системы извлечения знаний.

Исследование, представленное в данной работе, демонстрирует стремление к созданию гибких и адаптивных систем извлечения знаний из финансовых отчетов. Авторы акцентируют внимание на автоматической адаптации схем, что позволяет минимизировать ошибки и повысить достоверность извлекаемой информации. Это соответствует принципу целостности системы, где изменение одной части требует понимания всей архитектуры. Как однажды заметил Анри Пуанкаре: «Наука не собирает факты, а создает их». Данное высказывание отражает суть подхода, представленного в статье: не просто извлечение данных, а структурирование их в осмысленные знания, формируя надежный и проверенный граф знаний из неструктурированных финансовых документов.

Куда Дальше?

Представленная работа, стремясь к автоматическому извлечению структурированных знаний из финансовых отчетов, лишь слегка приоткрывает дверь в сложный мир семантического понимания. Успех в адаптации схем и минимизации «галлюцинаций» больших языковых моделей, безусловно, важен, однако он не решает фундаментальную проблему: достоверность извлеченных знаний определяется не только правильностью синтаксического разбора, но и способностью модели к контекстуальному мышлению. Подобно тому, как документация фиксирует структуру, но не передает поведение, извлеченные тройки отражают лишь поверхностный слой информации.

Будущие исследования должны сместить фокус с простого извлечения тройок на построение динамических графов знаний, способных к самокоррекции и верификации информации посредством взаимодействия с внешними источниками. Простая проверка фактов, безусловно, необходима, но недостаточно. Истинная проверка — это понимание причинно-следственных связей и способности модели выявлять противоречия не только в тексте, но и в самой логике финансовой отчетности.

В конечном счете, элегантность системы определяется не количеством извлеченных фактов, а простотой и ясностью полученной картины. Стремление к автоматизации не должно затмевать необходимость критического анализа и понимания того, что даже самая сложная модель — лишь инструмент, а не замена человеческому разуму. В противном случае, мы рискуем построить впечатляющее здание на шатком фундаменте.

Оригинал статьи: https://arxiv.org/pdf/2602.11886.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-13 20:31