Биржевой пророк: оценка языковых моделей в прогнозировании акций

Автор: Денис Аветисян


Новое исследование представляет PriceSeer — динамичный инструмент для оценки способности больших языковых моделей предсказывать колебания цен на акции и разрабатывать эффективные инвестиционные стратегии в реальном времени.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Бесплатный Телеграм канал
Система PriceSeer анализировала временные ряды котировок и текстовые новостные данные по 11 отраслям экономики за 249 торговых дней, используя количественные финансовые метрики для расширения информации и намеренно внося искажения в данные с целью проверки точности прогнозирования цен на различных временных горизонтах.
Система PriceSeer анализировала временные ряды котировок и текстовые новостные данные по 11 отраслям экономики за 249 торговых дней, используя количественные финансовые метрики для расширения информации и намеренно внося искажения в данные с целью проверки точности прогнозирования цен на различных временных горизонтах.

PriceSeer — это платформа для всестороннего тестирования и сравнения больших языковых моделей в задачах прогнозирования финансовых временных рядов и оценки риска загрязнения данных.

Прогнозирование фондового рынка, несмотря на десятилетия исследований, остается сложной задачей, особенно в условиях динамично меняющейся информации. В данной работе представлена платформа PriceSeer: Evaluating Large Language Models in Real-Time Stock Prediction, предназначенная для всесторонней оценки возможностей больших языковых моделей (LLM) в решении задач прогнозирования цен акций в реальном времени. Платформа включает в себя данные по 110 американским акциям из 11 отраслей и позволяет оценить влияние как внутренних, так и внешних факторов, включая новостной фон и дезинформацию, на точность прогнозов. Какие перспективы открываются для разработки эффективных инвестиционных стратегий на основе LLM и какие ограничения необходимо учитывать при их применении в реальных рыночных условиях?


Вызов Точного Прогнозирования Фондового Рынка

Традиционные финансовые модели, основанные на исторических данных и статичных экономических показателях, зачастую оказываются неспособными адекватно реагировать на стремительно меняющуюся динамику рынков. Предположения о стабильности и линейности, лежащие в основе многих из этих моделей, перестают соответствовать действительности в условиях глобальной взаимосвязанности и возрастающей волатильности. В результате, прогнозы, построенные на устаревших алгоритмах, регулярно демонстрируют значительные отклонения от реальных цен акций, особенно в периоды резких изменений, вызванных технологическими прорывами, геополитическими событиями или неожиданными кризисами. Неспособность учитывать нелинейные зависимости и быстро адаптироваться к новым информационным потокам приводит к систематическим ошибкам и снижению эффективности инвестиционных стратегий, основанных на этих прогнозах.

Современные финансовые рынки характеризуются экспоненциальным ростом объема и разнообразия данных, требуя от аналитических инструментов принципиально новых возможностей. Помимо традиционных показателей, таких как финансовая отчетность и макроэкономические данные, всё большее значение приобретают неструктурированные источники информации — новостные потоки, социальные сети, спутниковые снимки и другие альтернативные индикаторы. Анализ тональности новостей, выявление закономерностей в социальных медиа и интерпретация данных, полученных из нетрадиционных источников, позволяют более полно оценить факторы, влияющие на стоимость акций. Однако, обработка и интеграция таких разнородных данных требует применения сложных алгоритмов машинного обучения, включая методы обработки естественного языка и анализа временных рядов, что значительно усложняет процесс прогнозирования и требует разработки новых, более совершенных аналитических платформ.

Существующие методы прогнозирования стоимости акций часто оказываются неэффективными при столкновении с непредсказуемыми событиями, так называемыми «черными лебедями», и намеренными кампаниями дезинформации. Традиционные модели, основанные на исторических данных и статистической корреляции, не способны адекватно реагировать на резкие, неожиданные изменения рыночной конъюнктуры, вызванные, например, геополитическими кризисами или внезапными технологическими прорывами. Более того, целенаправленное распространение ложной информации, манипулирующее общественным мнением и настроениями инвесторов, способно искусственно искажать рыночные сигналы и приводить к значительным колебаниям цен, обходя системы обнаружения аномалий и защиты от мошенничества. Это подчеркивает необходимость разработки более устойчивых и адаптивных моделей, способных учитывать не только количественные данные, но и качественные факторы, такие как новостной фон и социальные настроения, а также эффективно фильтровать недостоверную информацию.

Необходимость в надежном критерии оценки прогностических моделей на фондовом рынке становится все более актуальной. Существующие методы зачастую не способны адекватно отразить реальную динамику, особенно в условиях высокой волатильности и намеренного искажения информации. Разработка такого критерия подразумевает не просто проверку точности прогнозов в спокойных рыночных условиях, но и оценку устойчивости моделей к внезапным, непредсказуемым событиям — так называемым «черным лебедям» — а также к воздействию дезинформационных кампаний. Такой эталон позволит объективно сравнить различные подходы к прогнозированию, выявить наиболее эффективные стратегии и, в конечном итоге, повысить надежность инвестиционных решений, минимизируя риски, связанные с непредсказуемостью финансовых рынков.

Сравнение производительности различных секторов, основанное исключительно на исторических данных, демонстрирует различия в их динамике.
Сравнение производительности различных секторов, основанное исключительно на исторических данных, демонстрирует различия в их динамике.

PriceSeer: Строгий Эталон для Оценки

PriceSeer представляет собой постоянно действующий, не подверженный загрязнению данных эталон, разработанный для оценки больших языковых моделей (LLM) в задачах прогнозирования фондового рынка. В отличие от традиционных эталонов, использующих исторические данные, PriceSeer обеспечивает оценку моделей в режиме, близком к реальному времени, что позволяет выявить их способность адаптироваться к текущим рыночным условиям. Конструкция эталона исключает возможность «утечки» данных из тестового набора в обучающие данные моделей, что гарантирует объективность оценки и предотвращает завышение результатов. Оценка LLM проводится на задачах прогнозирования движения цен акций, используя данные, симулирующие реальные рыночные транзакции.

Бенчмарк PriceSeer использует разнородные источники данных для моделирования реальных рыночных условий. В него включены исторические данные о ценах акций, потоковые данные новостей в реальном времени, а также намеренно внедряемые ложные новостные сообщения. Использование такого комбинированного набора данных позволяет оценить способность языковых моделей (LLM) к анализу и интерпретации информации из различных источников, а также к устойчивости к дезинформации и рыночным манипуляциям. Целью является создание максимально приближенной к реальности среды для тестирования и сравнения LLM в задачах прогнозирования фондового рынка.

Архитектура PriceSeer обеспечивает непрерывную оценку моделей за счет постоянного обновления данных и алгоритмов, имитирующих динамику рынка. Это достигается путем интеграции потоковых данных о ценах, новостных лент и искусственно создаваемых фейковых новостей, что позволяет тестировать модели на устойчивость к изменяющимся рыночным трендам и попыткам манипулирования. В отличие от статических бенчмарков, PriceSeer регулярно подвергает модели новым данным, выявляя потенциальные уязвимости и оценивая адаптивность к непредсказуемым событиям, таким как внезапные изменения в новостном фоне или резкие колебания цен.

PriceSeer, предоставляя стандартизированную и сложную среду для тестирования, стимулирует инновации в области прогнозирования финансовых рынков с использованием больших языковых моделей (LLM). Единая методология оценки позволяет исследователям и разработчикам объективно сравнивать производительность различных LLM в задачах прогнозирования цен на акции. Высокая сложность, достигаемая за счет использования разнообразных источников данных — исторических цен, новостей в реальном времени и намеренно внедряемых ложных новостей — заставляет модели адаптироваться к реалистичным рыночным условиям и противодействовать манипуляциям. Это, в свою очередь, способствует разработке более надежных и точных LLM для финансовых прогнозов, что открывает возможности для улучшения инвестиционных стратегий и управления рисками.

В PriceSeer шаблон запроса использует зелёный и красный цвета для обозначения сценариев с финансовыми показателями и новостями соответственно.
В PriceSeer шаблон запроса использует зелёный и красный цвета для обозначения сценариев с финансовыми показателями и новостями соответственно.

Производительность LLM Под Строгим Взором

Для оценки производительности современных больших языковых моделей (LLM) был использован бенчмарк PriceSeer. В ходе тестирования были задействованы следующие модели: GPT-5, Claude-Sonnet-4.5, DeepSeek-R1, o3, Gemini-2.5-Pro и DeepSeek-V3.2. PriceSeer позволил провести сравнительный анализ их способности к прогнозированию, используя различные временные горизонты и метрики оценки точности, что позволило выявить сильные и слабые стороны каждой модели в задачах, связанных с финансовым прогнозированием.

Оценка производительности больших языковых моделей (LLM) проводилась с использованием различных горизонтов прогнозирования: краткосрочного (3 дня), среднесрочного (5 дней) и долгосрочного (10 дней). Для количественной оценки точности прогнозов применялись две ключевые метрики: относительная ошибка и коэффициент попадания (hit rate). Относительная ошибка измеряет процентное отклонение прогнозируемого значения от фактического, в то время как коэффициент попадания указывает долю случаев, когда прогноз находится в заданном диапазоне допустимых значений. Использование различных горизонтов прогнозирования позволило оценить способность моделей адаптироваться к различным временным рамкам и выявить закономерности в их ошибках.

В ходе оценки производительности различных больших языковых моделей (LLM) — GPT-5, Claude-Sonnet-4.5, DeepSeek-R1, o3, Gemini-2.5-Pro и DeepSeek-V3.2 — с использованием бенчмарка PriceSeer, были выявлены различия в точности прогнозирования. Модель DeepSeek-V3.2 показала наименьшую относительную ошибку в краткосрочной перспективе, составив 2.14%. В то же время, модель GPT-5 продемонстрировала лучшие результаты в среднесрочном и долгосрочном прогнозировании, что указывает на ее превосходство в более сложных задачах прогнозирования.

В ходе оценки производительности больших языковых моделей (LLM) с использованием бенчмарка PriceSeer было установлено, что включение финансовых индикаторов — простого возврата (Simple Return), логарифмического возврата (Log Return), индикатора MACD, индекса относительной силы (Relative Strength Index), простого скользящего среднего (Simple Moving Average) и полос Боллинджера (Bollinger Bands) — последовательно повышало точность прогнозирования во всех протестированных моделях. Данные индикаторы предоставляют дополнительную информацию о динамике цен и волатильности, что позволяет LLM более эффективно выявлять закономерности и делать более точные предсказания на различных временных горизонтах — краткосрочном (3 дня), среднесрочном (5 дней) и долгосрочном (10 дней). Улучшение точности наблюдалось при использовании каждого из перечисленных индикаторов, что подтверждает их ценность для задач прогнозирования финансовых данных.

В ходе тестирования на бенчмарке PriceSeer модель GPT-5 показала относительную ошибку в 2.53% для среднесрочного прогнозирования и 4.3% для долгосрочного. При этом, все протестированные модели в совокупности продемонстрировали следующие показатели точности: 0.6 для краткосрочного прогнозирования, 0.53 для среднесрочного и 0.51 для долгосрочного. Данные показатели отражают долю верно предсказанных значений в каждом временном горизонте.

Анализ корреляции Пирсона между секторами экономики показывает, что взаимосвязь между ними меняется в зависимости от временного горизонта прогнозирования.
Анализ корреляции Пирсона между секторами экономики показывает, что взаимосвязь между ними меняется в зависимости от временного горизонта прогнозирования.

Влияние на Инвестиционные Стратегии

Бенчмарк PriceSeer предоставляет ценные инструменты для разработки и оценки инвестиционных стратегий, основанных на больших языковых моделях (LLM). Он позволяет исследователям и практикам систематически сравнивать различные LLM, оценивая их способность прогнозировать движение цен на финансовые активы. Благодаря стандартизированной методологии и общедоступному набору данных, PriceSeer облегчает определение наиболее эффективных моделей для конкретных инвестиционных задач, а также выявление ключевых факторов, влияющих на их производительность. Это способствует более обоснованному принятию решений и оптимизации инвестиционных портфелей, что, в свою очередь, может привести к повышению доходности и снижению рисков в динамичной рыночной среде. Стандартизация оценки позволяет не только сравнивать модели, но и отслеживать прогресс в области LLM-управляемых инвестиций с течением времени.

Наблюдаемая взаимосвязь между включением финансовых индикаторов и повышением точности прогнозов открывает перспективные возможности для улучшения инвестиционной эффективности. Исследования показали, что интеграция данных, отражающих ключевые экономические показатели — такие как индексы фондового рынка, процентные ставки и данные о занятости — значительно повышает способность языковых моделей предсказывать изменения цен на активы. Это связано с тем, что финансовые индикаторы предоставляют дополнительный контекст и позволяют моделям учитывать более широкий спектр факторов, влияющих на рынок. В результате, стратегии, использующие LLM, обогащенные финансовыми данными, демонстрируют потенциал для более точного прогнозирования рыночных тенденций и, следовательно, для повышения доходности инвестиций при одновременном снижении рисков.

Устойчивость к дезинформации и ложным новостям становится критически важным фактором для поддержания стабильности инвестиционного портфеля и снижения рисков, связанных с манипулированием рынком. Исследования показывают, что алгоритмы, неспособные фильтровать недостоверную информацию, подвержены влиянию искусственно созданных новостных потоков, что может привести к ошибочным инвестиционным решениям и значительным финансовым потерям. Способность модели различать правдивые данные от фальсификаций позволяет минимизировать влияние рыночных спекуляций и поддерживать долгосрочную прибыльность портфеля, особенно в условиях повышенной волатильности и информационного шума. Таким образом, интеграция механизмов проверки достоверности информации является неотъемлемой частью надежной инвестиционной стратегии.

Бенчмарк PriceSeer предоставляет возможность точного определения наиболее подходящих больших языковых моделей (LLM) для конкретных инвестиционных стратегий, учитывая различные временные горизонты и уровни риска. Исследование показало, что различные LLM демонстрируют разную эффективность в прогнозировании финансовых показателей в зависимости от продолжительности инвестиционного периода — краткосрочные горизонты требуют моделей, способных быстро реагировать на изменения, в то время как долгосрочные инвестиции выигрывают от моделей, способных выявлять фундаментальные тенденции. Более того, бенчмарк позволяет оценить устойчивость моделей к различным уровням риска, помогая инвесторам выбирать LLM, соответствующие их индивидуальной склонности к риску и инвестиционным целям. Это дает возможность не просто автоматизировать процесс принятия решений, но и оптимизировать портфель, максимизируя потенциальную прибыль при заданном уровне риска.

Распределение инвестиционных стратегий показывает прибыльность и убытки (PnL) различных подходов.
Распределение инвестиционных стратегий показывает прибыльность и убытки (PnL) различных подходов.

Исследование демонстрирует, что оценка возможностей больших языковых моделей в динамичной среде, как это реализовано в PriceSeer, требует подхода, выходящего за рамки статических тестов. Модель, способная адаптироваться к меняющимся рыночным условиям и прогнозировать цены акций в реальном времени, представляет собой не просто инструмент, но и способ познания самой системы. Как заметил Жан-Поль Сартр: «Экзистенция предшествует сущности». В данном контексте, способность модели к адаптации и прогнозированию проявляется в процессе ее взаимодействия с рынком, определяя ее ‘сущность’ как эффективного инструмента для инвестиционной стратегии и анализа временных рядов.

Что Дальше?

Представленный здесь PriceSeer, по сути, не столько решает проблему предсказания фондового рынка, сколько обнажает её сложность. Создание динамичного бенчмарка — это признание того факта, что статические наборы данных — лишь бледная тень реальности, а предсказание будущего требует постоянной адаптации к хаосу. Этот подход, как показывает опыт, гораздо быстрее раскрывает истинные ограничения языковых моделей, чем бесконечные усовершенствования алгоритмов на «чистых» данных.

Однако, и здесь кроется парадокс. PriceSeer выявляет, что даже в условиях живого рынка, модели демонстрируют селективную компетентность — работая в одних секторах и проваливаясь в других. Это наводит на мысль, что проблема не в алгоритмах как таковых, а в фундаментальном непонимании динамики различных рынков. Будущие исследования должны сосредоточиться не на «универсальных» предсказателях, а на создании специализированных моделей, учитывающих уникальные особенности каждого сектора.

В конечном счете, PriceSeer — это инструмент для деконструкции иллюзии предсказуемости. Он показывает, что даже самые продвинутые языковые модели — это всего лишь сложные инструменты для анализа информации, а не машины для гадания. И в этом, пожалуй, и заключается истинная ценность — признание границ познания и готовность к постоянному переосмыслению существующих подходов.


Оригинал статьи: https://arxiv.org/pdf/2601.06088.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-13 20:14