Заглядывая вдаль: новый подход к долгосрочному прогнозированию временных рядов

Автор: Денис Аветисян

Исследователи предлагают инновационную методику, позволяющую значительно улучшить точность предсказаний на больших временных интервалах.

Эволюционный прогноз использует исторические данные (обозначенные синим цветом) в качестве основы для построения модели, способной предсказывать будущие изменения и адаптироваться к ним.

В статье представлена концепция эволюционного прогнозирования, разделяющая горизонты обучения и оценки модели для повышения стабильности и эффективности.

🐢

Ищешь ракеты? Это не к нам. У нас тут скучный, медленный, но надёжный, как швейцарские часы, фундаментальный анализ.

Бесплатный Телеграм канал

Неожиданно, модели, обученные на коротких временных горизонтах, зачастую превосходят те, что обучены непосредственно на длинных. В работе ‘To See Far, Look Close: Evolutionary Forecasting for Long-term Time Series’ предложен новый подход — Эволюционное Прогнозирование (EF), который позволяет отделить горизонт прогнозирования от горизонта оценки, что радикально улучшает долгосрочное предсказание временных рядов. EF не только решает проблему конфликта градиентов, возникающую при использовании традиционного прямого прогнозирования, но и объединяет его как частный случай в рамках единой генеративной схемы. Не станет ли переход от статического отображения к автономному эволюционному рассуждению основой для нового поколения моделей прогнозирования временных рядов?

Долгосрочное Прогнозирование: Вызов для Инженеров

Прогнозирование временных рядов на длительный срок имеет решающее значение для множества критически важных приложений, от управления энергетическими ресурсами и финансового планирования до прогнозирования климатических изменений и эпидемиологического моделирования. Однако, несмотря на возрастающую потребность в точных долгосрочных прогнозах, эта задача остается исключительно сложной. Существующие методы часто сталкиваются с трудностями, обусловленными нелинейностью данных, наличием шумов и трудностями в учете долгосрочных трендов и сезонности. Неспособность точно предсказать поведение временных рядов на длительном горизонте может привести к значительным экономическим потерям, неэффективному распределению ресурсов и даже серьезным последствиям для общественной безопасности, что подчеркивает необходимость разработки новых и более надежных методов прогнозирования.

Традиционные рекурсивные методы долгосрочного прогнозирования, при которых прогноз на следующий шаг строится на основе предыдущего, подвержены кумулятивному накоплению ошибок. Это означает, что даже незначительные неточности на ранних этапах прогноза постепенно усиливаются с увеличением временного горизонта, что приводит к значительному снижению точности предсказаний в долгосрочной перспективе. В результате, предсказания, основанные на рекурсивном подходе, часто становятся ненадежными при попытке заглянуть на длительный период вперёд, особенно в сложных и динамичных системах. Данная проблема стимулирует поиск альтернативных подходов, способных минимизировать или компенсировать эффект накопления ошибок и обеспечивать более стабильные и точные долгосрочные прогнозы.

Прямое прогнозирование, несмотря на свою простоту, страдает от кумулятивных ошибок, возникающих из-за последовательного накопления неточностей при прогнозировании на каждом шаге.

Прямое Прогнозирование: Смена Парадигмы

Прямое прогнозирование предлагает решение проблемы накопления ошибок, характерной для рекуррентных моделей временных рядов, путем предсказания всех будущих временных шагов за один прямой проход (forward pass). В традиционных подходах, где прогнозы генерируются последовательно, ошибка на каждом шаге накапливается и влияет на последующие предсказания. Прямое прогнозирование устраняет эту проблему, поскольку модель обучается предсказывать всю будущую последовательность одновременно, избегая тем самым распространения ошибок через промежуточные шаги. Это позволяет добиться более стабильных и точных долгосрочных прогнозов, особенно в задачах, где важна точность на удаленных временных горизонтах.

Модель Informer стала пионерским решением в области прямого прогнозирования, продемонстрировав его эффективность при использовании архитектур Transformer. В отличие от традиционных авторегрессионных моделей, Informer предсказывает все будущие временные шаги за один прямой проход, что позволяет избежать накопления ошибок. Ключевым нововведением стало использование ProbSparse Self-Attention, которая значительно снижает вычислительную сложность и позволяет обрабатывать длинные последовательности временных рядов. Экспериментальные результаты показали, что Informer превосходит существующие модели, такие как Transformer и LSTM, в задачах долгосрочного прогнозирования, особенно в сценариях с большими объемами данных и высокой частотой дискретизации.

Прямое прогнозирование, несмотря на свою эффективность, сталкивается с проблемой доминирования градиентов от удаленных шагов во времени, что приводит к недостаточному обучению прогнозов на ближайшие периоды — феномену, известному как Дистальное Доминирование. Анализ градиентов сегментов показывает близость к нулевому или отрицательное косинусное сходство, что указывает на конфликт между градиентами, полученными для различных временных отрезков. Это означает, что оптимизация, ориентированная на долгосрочные прогнозы, может подавлять обучение модели для более точного предсказания ближайшего будущего, снижая общую производительность системы.

Сравнение среднеквадратичной ошибки (MSE) при прогнозировании на горизонте 96 шагов для реальных наборов данных показывает, что обучение с горизонтом, совпадающим с горизонтом оценки <span class="katex-eq" data-katex-display="false">L=96</span> (сплошные столбцы), обеспечивает лучшую производительность, чем обучение с более длинным горизонтом <span class="katex-eq" data-katex-display="false">L=720</span> с последующей обрезкой предсказаний (штрихованные столбцы), что указывает на неоптимальность подхода с обрезкой. — Сравнение среднеквадратичной ошибки (MSE) при прогнозировании на горизонте 96 шагов для реальных наборов данных показывает, что обучение с горизонтом, совпадающим с горизонтом оценки $L=96$ (сплошные столбцы), обеспечивает лучшую производительность, чем обучение с более длинным горизонтом $L=720$ с последующей обрезкой предсказаний (штрихованные столбцы), что указывает на неоптимальность подхода с обрезкой.

Эволюционное Прогнозирование: Разделение Горизонтов

Эволюционное прогнозирование развивает концепцию прямого прогнозирования, вводя разделение между горизонтом прогнозирования (длительностью предсказываемого периода) и горизонтом оценки (длительностью будущих временных шагов, которые прогнозируются). В прямом прогнозировании эти горизонты совпадают, что ограничивает возможности модели в долгосрочной перспективе. Разделение позволяет моделировать и оптимизировать прогнозирование на более коротких временных интервалах, а затем итеративно расширять прогноз на больший горизонт, что повышает точность и надежность предсказаний, особенно при экстраполяции за пределы наблюдаемых данных.

Разделение горизонта прогнозирования и горизонта оценки позволяет использовать итеративное рассуждение и улучшенную экстраполяцию, особенно при прогнозировании за пределами диапазона наблюдаемых данных. Вместо попыток предсказать весь будущий период сразу, модель последовательно прогнозирует короткие промежутки времени, используя предыдущие прогнозы в качестве входных данных для следующих. Такой подход позволяет избежать накопления ошибок, характерных для прямого прогнозирования на большие расстояния, и эффективно использовать информацию из предыдущих шагов прогноза для улучшения точности предсказаний в более отдаленном будущем. Это особенно важно при работе с временными рядами, где долгосрочные тренды могут быть трудно предсказуемыми, а краткосрочные колебания оказывают существенное влияние на общую точность прогноза.

Оптимизация процесса обучения на более коротких горизонтах оценки позволяет модели Evolutionary Forecasting избежать проблем, характерных для стандартного Direct Forecasting, таких как конфликты градиентов и доминирование удаленных во времени сигналов. В стандартном Direct Forecasting, градиенты, рассчитанные на основе предсказаний на дальних горизонтах, могут подавлять сигналы от более близких, релевантных шагов, что приводит к снижению точности. Использование коротких горизонтов оценки позволяет более эффективно распространять градиенты и фокусироваться на ближайших зависимостях во временных рядах. В результате, данный подход демонстрирует улучшение относительной точности прогнозирования до 13.92% по сравнению с традиционным Direct Forecasting.

Анализ доминирования в парадигме EF показывает, что использование не-DF стратегий (красная линия) обеспечивает более высокую вероятность оптимальной производительности по сравнению с традиционной DF парадигмой (синяя линия) при различных длинах входных последовательностей, при этом оптимальные параметры <span class="katex-eq" data-katex-display="false">T^{\<i>},L^{\</i>}</span> позволяют добиться наилучших результатов во всех временных горизонтах. — Анализ доминирования в парадигме EF показывает, что использование не-DF стратегий (красная линия) обеспечивает более высокую вероятность оптимальной производительности по сравнению с традиционной DF парадигмой (синяя линия) при различных длинах входных последовательностей, при этом оптимальные параметры $T^{\<i>},L^{\</i>}$ позволяют добиться наилучших результатов во всех временных горизонтах.

К Универсальной Интеллектуальной Системе для Временных Рядов

Эволюционное прогнозирование — это не просто усовершенствование существующих методов, а фундаментальный шаг к созданию основополагающих моделей для работы с временными рядами. В отличие от традиционных подходов, которые фокусируются на предсказании на фиксированном горизонте, эволюционное прогнозирование позволяет модели итеративно уточнять свои предсказания, последовательно расширяя горизонт планирования. Этот подход открывает путь к созданию универсальных моделей, способных адаптироваться к разнообразным задачам прогнозирования и демонстрировать высокую производительность в различных доменах. В перспективе, развитие эволюционного прогнозирования может привести к созданию “универсальных” моделей временных рядов, аналогичных большим языковым моделям, способным решать широкий спектр задач без необходимости переобучения для каждой конкретной ситуации.

Эволюционное прогнозирование представляет собой принципиально новый подход к анализу временных рядов, который отличается от традиционного прямого прогнозирования. Вместо единовременного предсказания на заданный горизонт, данный метод разделяет задачу на последовательность итеративных шагов, позволяя модели адаптироваться к изменяющимся условиям и учитывать долгосрочные зависимости. Исследования показывают, что эволюционное прогнозирование демонстрирует превосходство над прямым прогнозированием более чем в 80% случаев, независимо от используемых наборов данных и длительности прогнозируемого периода. Такой подход значительно расширяет возможности создания универсальных моделей, способных эффективно решать широкий спектр задач прогнозирования, и обеспечивает стабильную работу даже при экстраполяции на очень большие горизонты, где традиционные методы, как правило, терпят неудачу.

Метод обучения с подкреплением, известный как “teacher forcing”, значительно улучшает процесс тренировки моделей прогнозирования временных рядов. В отличие от подходов, полагающихся исключительно на собственные прогнозы модели в процессе обучения, “teacher forcing” использует истинные значения на начальных этапах, что способствует более быстрой сходимости и повышению точности. Особенно заметно преимущество данного метода проявляется при прогнозировании на экстремально больших временных горизонтах, где традиционные методы прямого прогнозирования, склонные к катастрофическим ошибкам, демонстрируют резкое снижение производительности. Использование “teacher forcing” позволяет модели сохранять стабильную работу и высокую точность даже при увеличении горизонта прогнозирования, что делает его важным инструментом для создания надежных и обобщающих моделей временных рядов.

В этой работе исследуется эволюционное прогнозирование как новый подход к долгосрочному анализу временных рядов. Авторы предлагают отделить горизонт предсказания модели от горизонта оценки, что, как они утверждают, повышает стабильность и точность. Кажется, что бесконечная оптимизация под конкретный горизонт — это иллюзия контроля. Как заметил Давид Гильберт: «В математике нет признаков того, что мы достигли предела». И здесь та же логика: попытка обуздать хаос экстраполяцией всегда обречена на столкновение градиентов и накопление ошибок. Авторы, по сути, предлагают не просто предсказывать, а адаптироваться к неопределенности, что напоминает подход к управлению техническим долгом — откладывание неизбежного лишь усугубляет проблему.

Куда же дальше?

Предложенный подход, отделяющий горизонт предсказания от горизонта оценки, несомненно, выглядит элегантно на диаграммах. Однако, история учит, что любая «революция» в области прогнозирования рано или поздно превращается в очередной техдолг. Проблема экстраполяции, несмотря на все ухищрения, никуда не делась — рано или поздно, данные всё равно начнут противоречить даже самым изящным моделям. Оптимизация, как известно, — это бесконечный поиск, а градиентные конфликты, вероятно, лишь приобретут новые, более изощренные формы.

Перспективы, безусловно, связаны с дальнейшим развитием «фундаментальных моделей», но стоит помнить, что и они не являются панацеей. Скорее, следует ожидать смещения акцентов в сторону более robustных методов, способных адаптироваться к непредсказуемым изменениям в данных. А ещё, вероятно, потребуется признать, что идеального прогноза, особенно на долгосрочном горизонте, просто не существует — и сосредоточиться на оценке неопределенности.

Если тесты окажутся зелёными — это, скорее всего, лишь подтвердит, что они ничего не проверяют в реальных условиях. Иными словами, истинное испытание наступит тогда, когда модель столкнется с данными, которые не были предусмотрены в процессе обучения. И тогда-то и станет ясно, насколько далеко можно было «увидеть», всматриваясь в детали.

Оригинал статьи: https://arxiv.org/pdf/2601.23114.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-02 21:42