Финансовые знания для ИИ: Новый взгляд на поиск информации

от

Автор: Денис Аветисян

Исследование показывает, как современные системы поиска и обработки информации могут значительно повысить точность ответов ИИ на сложные финансовые вопросы.

🐢

Ищешь ракеты? Это не к нам. У нас тут скучный, медленный, но надёжный, как швейцарские часы, фундаментальный анализ.

Бесплатный Телеграм канал
Система извлекает целевой фрагмент информации посредством векторного поиска, а затем расширяет контекст, включая соседние фрагменты ($i_{dx}-2$, $i_{dx}-1$, $i_{dx}+1$, $i_{dx}+2$), прежде чем предоставить объединенный контекст языковой модели для генерации ответа.
Система извлекает целевой фрагмент информации посредством векторного поиска, а затем расширяет контекст, включая соседние фрагменты ($i_{dx}-2$, $i_{dx}-1$, $i_{dx}+1$, $i_{dx}+2$), прежде чем предоставить объединенный контекст языковой модели для генерации ответа.

В статье сравниваются различные подходы к поиску информации для больших языковых моделей в финансовой сфере, включая векторные базы данных, переранжирование и иерархическое рассуждение.

Несмотря на значительный прогресс в области генеративных моделей, извлечение точной и актуальной информации из финансовых документов остается сложной задачей. В статье ‘Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models’ представлено систематическое сравнение векторных и не-векторных архитектур Retrieval-Augmented Generation (RAG) для ответа на финансовые вопросы. Полученные результаты демонстрируют, что усовершенствованные векторные системы RAG, включающие кросс-энкодерное переранжирование и стратегию извлечения фрагментов от малого к большому, превосходят иерархические не-векторные подходы по точности и качеству ответов. Какие новые возможности откроются для автоматизации финансового анализа и принятия решений на основе усовершенствованных систем RAG?

Пределы Традиционного RAG: Когда Векторы Молчат

Современные системы генерации с расширением знаний (RAG) в значительной степени полагаются на плотные векторные представления, известные как эмбеддинги. Однако, несмотря на свою эффективность в определенных задачах, эти эмбеддинги часто испытывают трудности при обработке нюансов языка и выполнении сложного логического вывода. Основная проблема заключается в том, что преобразование текста в векторное пространство неизбежно приводит к потере части семантической информации, особенно когда речь идет о контекстуальных зависимостях и тонких различиях в значениях слов. В результате, система может упустить важные детали или неправильно интерпретировать смысл документа, что негативно сказывается на качестве генерируемого ответа и ограничивает возможности RAG в решении сложных когнитивных задач. Поэтому, для повышения эффективности RAG необходимо разрабатывать более продвинутые методы представления знаний, способные учитывать контекст и семантические связи в тексте.

Системы, использующие извлечение информации для генерации ответов, часто сталкиваются с проблемой, известной как “потеря в середине”. Это явление возникает при обработке длинных документов, где информация, находящаяся в середине текста, игнорируется или недооценивается. Ограниченный “контекстный проем” — максимальный объем текста, который модель может эффективно анализировать — не позволяет ей полноценно учитывать все релевантные данные. В результате, даже если важная информация присутствует в документе, модель может ее упустить, поскольку она находится вне досягаемости ее “окна внимания”. Данная проблема особенно актуальна при работе с технической документацией, юридическими текстами или научными статьями, где критически важно учитывать все детали и нюансы.

Традиционные методы поиска информации, основанные на простом сопоставлении ключевых слов, часто оказываются неэффективными при работе со сложными текстами и запросами. Несмотря на кажущуюся простоту, такие системы не способны уловить семантические связи и нюансы, скрытые за формулировками. Даже современные системы, использующие плотные векторные представления — embeddings — не всегда способны эффективно извлекать знания, поскольку они могут упускать важные ассоциации и контекстуальные зависимости между понятиями. Это приводит к тому, что релевантная информация остается незамеченной, а система выдает неполные или неточные ответы, ограничивая возможности полноценного извлечения знаний из больших объемов текстовых данных.

Иерархическое Рассуждение: Структурируя Знания для Глубокого Понимания

Иерархическое рассуждение на основе узлов представляет собой новый подход к организации документов, при котором они структурируются в виде ‘Деревьев узлов’, отражающих их внутреннюю структуру. В отличие от традиционных методов, использующих плотные векторные представления (embeddings), данный подход позволяет обойтись без них, напрямую используя существующую структуру документа. В основе построения ‘Дерева узлов’ лежит выявление иерархических связей между разделами и подразделами, например, на основе оглавления или других структурных элементов документа. Это позволяет представлять документ не как единый массив текста, а как набор взаимосвязанных узлов, что облегчает навигацию и поиск релевантной информации.

Метод иерархического рассуждения использует структуру документа, такую как оглавление или аналогичные структурные подсказки, для реализации навигационного поиска информации. Вместо обработки всего документа целиком, система анализирует иерархию разделов и подразделов, позволяя фокусироваться непосредственно на релевантных фрагментах. Это достигается путем последовательного обхода дерева структуры документа, начиная с наиболее общих разделов и переходя к более детальным, что позволяет эффективно извлекать информацию, относящуюся к конкретному запросу, без необходимости сканирования всего объема текста.

Ограничения на размер контекстного окна в современных языковых моделях представляют собой существенную проблему при работе с большими документами. Подход, основанный на иерархическом построении дерева документов, решает эту проблему за счет фокусировки поиска на небольших, структурно связанных фрагментах текста. Вместо обработки всего документа целиком, система извлекает и анализирует только релевантные разделы и подразделы, соответствующие запросу пользователя. Это позволяет обойти ограничения по объему входных данных, сохраняя при этом контекстную информацию, необходимую для точного ответа, и значительно повышая эффективность обработки длинных текстов.

Улучшение Точности Извлечения: Гибридный Поиск и Контекстуальное Расширение

Векторный агентный RAG использует гибридный поиск, объединяя семантическое и лексическое сопоставление для повышения точности извлечения информации. Семантический поиск, основанный на векторном представлении запроса и документов, позволяет находить релевантные фрагменты, даже если в них не содержатся точные ключевые слова запроса. Лексическое сопоставление, традиционно использующее ключевые слова, обеспечивает точность и полноту результатов. Для дальнейшей оптимизации, система применяет фильтрацию по метаданным, позволяющую сузить область поиска и отсеять нерелевантные фрагменты на основе атрибутов документов, таких как дата создания, автор или категория.

Метод “Small-to-Big Retrieval” расширяет извлеченные фрагменты текста, добавляя соседние участки контента. Данный подход направлен на улучшение качества ответов и снижение потерь информации, возникающих при использовании стандартного разбиения на чанки. В ходе тестирования, применение “Small-to-Big Retrieval” показало увеличение вероятности успешного ответа на 65% по сравнению с базовым методом разбиения, при этом увеличение задержки составило всего 0.2 секунды. Данная оптимизация позволяет учитывать более широкий контекст, что положительно сказывается на релевантности и полноте предоставляемой информации.

Переранжирование извлеченных фрагментов с помощью кросс-энкодера использует более тонкое понимание релевантности для упорядочивания результатов поиска. Это приводит к абсолютному улучшению метрики Mean Reciprocal Rank (MRR) на 59%, увеличивая её значение с 0.160 до 0.750. Кроме того, применение данного метода обеспечивает идеальное значение Recall@5, равное 1.00, что свидетельствует о 100% точности извлечения всех релевантных фрагментов в пределах первых пяти результатов.

Подтверждение Эффективности: Метрики и Оценка на Основе LLM

Оценка качества извлечения информации осуществлялась с применением общепринятых метрик, таких как $MRR$ (Mean Reciprocal Rank) и $Recall@5$. Показатель $MRR$ оценивает среднюю позицию первого релевантного документа в списке результатов, демонстрируя точность ранжирования. В свою очередь, $Recall@5$ измеряет долю релевантных документов, найденных среди первых пяти результатов, отражая полноту поиска. Использование данных метрик позволяет объективно сравнить эффективность различных подходов к извлечению информации, выявляя системы, способные предоставлять наиболее релевантные ответы на заданные вопросы, и гарантирует надежность оценки качества работы системы.

Внедрение подхода “LLM как судья” представляет собой надежный и автоматизированный метод оценки качества генерируемых ответов. Вместо традиционной ручной оценки, требующей значительных временных затрат и подверженной субъективности, используется большая языковая модель (LLM) для анализа и ранжирования ответов на основе заданных критериев. Этот подход обеспечивает объективность и согласованность оценки, поскольку LLM последовательно применяет одни и те же стандарты к каждому ответу. Автоматизация процесса позволяет проводить масштабные оценки с минимальными затратами, что особенно важно при разработке и тестировании сложных систем, таких как системы поиска информации и чат-боты. Использование LLM в качестве арбитра позволяет получить более точные и репрезентативные результаты, что способствует улучшению качества генерируемых ответов и повышению эффективности системы в целом.

Оценка производительности продемонстрировала значительное превосходство векторного агентного RAG над иерархическими системами, основанными на узлах, в задачах ответа на вопросы по финансовой документации. В ходе тестирования, векторный подход обеспечил 68%-ный показатель успешности, что свидетельствует о повышенной точности извлечения информации и качестве ответов. При этом, время отклика систем оказалось сопоставимым — 5.2 секунды для векторного RAG и 5.98 секунды для иерархической системы. Полученные результаты подчеркивают, что векторный агентный RAG представляет собой эффективную альтернативу традиционным методам, обеспечивая не только улучшенную точность, но и сохраняя приемлемую скорость обработки информации.

Исследование показывает, что эффективность извлечения информации для больших языковых моделей в финансовой сфере достигается не сложностью архитектуры, а точностью и лаконичностью подхода. Акцент на векторном поиске, усиленном переранжировкой и иерархическим извлечением, демонстрирует превосходство над более громоздкими системами. Как однажды заметил Роберт Тарьян: «Простота — это высшая форма сложности». Эта фраза отражает суть работы: достижение высокой точности при обработке финансовых документов требует не добавления новых уровней абстракции, а оптимизации базовых принципов извлечения и сопоставления информации. Ясность в поиске — это минимальная форма любви к данным.

Куда Ведет Дорога?

Представленные результаты, несомненно, склоняются в пользу кажущейся простоты векторного поиска. Однако, триумф скорости и точности не должен усыплять бдительность. Поиск истины в финансовых документах — это не только сопоставление фактов, но и выявление скрытых связей, контекста, и, порой, намерения. Иллюзия понимания, порожденная успешным извлечением релевантной информации, легко может заслонить отсутствие истинного знания.

Очевидным направлением дальнейших исследований представляется не усложнение архитектуры, а углубление понимания самих данных. Вместо того, чтобы строить все более сложные системы “рассуждения”, возможно, стоит сосредоточиться на очистке и структурировании первичных источников. Чем яснее исходные данные, тем менее изощренными могут быть инструменты их анализа. Зачем изобретать новые способы обмана, если можно просто говорить правду?

Вопрос оценки, разумеется, остается открытым. Метрики точности, как и любые другие, лишь приблизительно отражают реальную ценность информации. Поиск ответов на вопросы — лишь начало. Подлинная проверка — в способности предсказывать будущее, а это требует не только знания прошлого, но и понимания закономерностей, которые, увы, часто ускользают от формальных моделей.

Оригинал статьи: https://arxiv.org/pdf/2511.18177.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-25 16:16