Искусство отбора: Как фильтрация формирует логику и разнообразие языковых моделей

Автор: Денис Аветисян

Новый подход к обучению языковых моделей для формального доказательства теорем позволяет находить более точные и разнообразные решения.

🐢

Ищешь ракеты? Это не к нам. У нас тут скучный, медленный, но надёжный, как швейцарские часы, фундаментальный анализ.

Бесплатный Телеграм канал

В ходе обучения модели Qwen-2.5-MATH-1.5B различными методами и последующей оценки на наборе данных Minerva, стратегия Pass@256 демонстрирует превосходство над Pass@1, что указывает на значительное улучшение результатов при более тщательной проверке ответов.

Исследование представляет метод обучения с подкреплением, использующий α-дивергенции для баланса между точностью и разнообразием, что повышает производительность и охват по сравнению с существующими подходами.

Несмотря на успехи обучения больших языковых моделей с подкреплением для задач, требующих рассуждений, часто наблюдается снижение разнообразия генерируемых решений. В работе «Whatever Remains Must Be True: Filtering Drives Reasoning in LLMs, Shaping Diversity» предложен подход, основанный на явном определении целевого распределения путем фильтрации неверных ответов и сохранении относительных вероятностей верных. Такой метод, использующий семейство α-дивергенций для балансировки точности и разнообразия, позволяет добиться передовых результатов на бенчмарке Lean theorem proving. Сможет ли подобный подход к обучению, ориентированный на фильтрацию и сохранение достоверной информации, существенно расширить возможности языковых моделей в задачах формальной верификации и логического вывода?

Преодоление Разрыва: От Беглости к Рассуждению

Современные языковые модели демонстрируют впечатляющую беглость речи, однако часто испытывают трудности при решении задач, требующих сложного логического мышления. Это связано с тем, что модели обучаются предсказывать следующее слово в последовательности, а не с пониманием лежащих в основе принципов и закономерностей. Для повышения надёжности и полезности таких моделей необходимо улучшить их соответствие желаемым распределениям выходных данных, то есть научить генерировать не просто грамматически верные, но и логически обоснованные и соответствующие контексту ответы. Достижение этой «выровненности» требует разработки новых методов обучения и оценки, направленных на то, чтобы модели не просто имитировали человеческую речь, а действительно понимали и использовали знания для решения задач, требующих рассуждений и выводов.

Простое увеличение масштаба языковых моделей, несмотря на впечатляющие результаты в генерации текста, не решает фундаментальных проблем с надежностью и достоверностью ответов. Исследования показывают, что увеличение количества параметров не гарантирует улучшения способности к сложному рассуждению или предотвращению генерации вводящей в заблуждение информации. Необходим более тонкий подход к обучению, включающий разработку новых методов оценки, которые учитывают не только беглость речи, но и логическую связность, фактическую точность и соответствие желаемым критериям. Это предполагает переход от простого увеличения вычислительных ресурсов к инновациям в архитектуре моделей, стратегиях обучения и методах верификации генерируемого контента, чтобы обеспечить предсказуемость и доверие к результатам.

Современные методы обучения языковых моделей зачастую вынуждают разработчиков выбирать между точностью и разнообразием генерируемого текста. Стремление к высокой точности, когда модель выдает наиболее вероятный ответ, может приводить к предсказуемым и лишенным креативности результатам. В то же время, акцент на разнообразии, позволяющий генерировать более широкий спектр ответов, нередко сопровождается снижением точности и увеличением числа логических ошибок. Эта фундаментальная дилемма представляет собой серьезное препятствие на пути к созданию действительно надежных и полезных языковых моделей, способных решать сложные задачи и генерировать содержательные, разнообразные и корректные тексты. Разработка алгоритмов, способных эффективно балансировать между этими двумя важными характеристиками, остается одной из ключевых задач в области искусственного интеллекта.

Метод α-DPG обеспечивает баланс между фокусировкой на целевом распределении и поддержанием его разнообразия, демонстрируя превосходные показатели точности и охвата по сравнению с другими подходами в RLVR.

Верифицируемые Награды и Оптимизация Распределений

Метод сопоставления распределений с проверяемыми наградами (Distributional Matching with Verifiable Rewards, DMVR) представляет собой структуру для обучения политик, использующую явно заданные целевые распределения. В основе DMVR лежит бинарный Верификатор, который оценивает корректность выходных данных, определяя, соответствуют ли они заданным критериям. Политика обучается максимизировать вероятность генерации выходных данных, которые Верификатор признает корректными. Этот подход позволяет задавать желаемые свойства генерируемого контента напрямую через целевое распределение и функцию Верификатора, обеспечивая более контролируемый процесс обучения и возможность формальной проверки результатов. Верификатор может быть реализован как отдельная нейронная сеть или как набор правил, определяющих допустимые выходные данные.

Методы, такие как тонкая настройка с использованием отбора (Rejection Sampling Fine-tuning, RS-FT) и обучение с подкреплением, использующее награду от верификатора (Reinforcement Learning with Verifier Reward, RLVR), напрямую используют процесс верификации для улучшения качества генерируемого текста. В RS-FT, верификатор используется для фильтрации сгенерированных образцов, оставляя только те, которые соответствуют заданным критериям корректности. RLVR же использует выход верификатора в качестве сигнала вознаграждения для алгоритма обучения с подкреплением, стимулируя генерацию текстов, которые успешно проходят верификацию. Оба подхода позволяют обучать модели, ориентируясь на конкретные требования к выходным данным и обеспечивая их проверяемость.

Использование исключительно награды от верификатора при обучении языковых моделей может приводить к снижению разнообразия генерируемого текста. Данная проблема возникает из-за того, что модель стремится оптимизировать получение максимальной награды, что способствует выбору наиболее вероятных, но однообразных вариантов ответа. Это усиливает тенденцию к «mode-seeking» — концентрации на ограниченном подмножестве возможных выходов, — и ограничивает способность модели к генерации креативных и непредсказуемых текстов, поскольку она избегает рискованных, но потенциально полезных отклонений от усредненных результатов.

Сравнение кривых обучения различных базовых алгоритмов DR-GRPO (включая варианты с высокой KL-дивергенцией и энтропией) показывает, что последовательная энтропия и награда растут в процессе обучения, при этом прерванные и возобновленные запуски также отображены на графиках.

Баланс Точности и Разнообразия с Альфа-Дивергенциями

Alpha-DPG представляет собой обобщение алгоритма Distributional Policy Gradient (KL-DPG) посредством использования $\alpha$-дивергенций. В отличие от KL-DPG, который ограничен использованием дивергенции Кульбака-Лейблера, Alpha-DPG позволяет плавно интерполировать между прямой и обратной KL-дивергенциями посредством параметра $\alpha$. При $\alpha = 0$ достигается обратная KL-дивергенция, а при $\alpha = 1$ — стандартная прямая KL-дивергенция. Использование $\alpha$-дивергенций создает непрерывный спектр между этими двумя крайними случаями, предоставляя возможность более гибкой настройки процесса обучения и контроля над компромиссом между покрытием и точностью целевого распределения.

Алгоритм Alpha-DPG обеспечивает точное управление компромиссом между покрытием и точностью целевого распределения посредством интерполяции между прямым и обратным дивергенциями Кульбака-Лейблера ($KL$). Прямая $KL$-дивергенция ($D_{KL}(P||Q)$) измеряет, насколько хорошо распределение $Q$ аппроксимирует $P$, акцентируя внимание на точности, в то время как обратная $KL$-дивергенция ($D_{KL}(Q||P)$) оценивает, насколько хорошо $P$ покрывает $Q$. Интерполируя между этими двумя дивергенциями с помощью параметра $\alpha$, Alpha-DPG позволяет динамически регулировать баланс между максимизацией покрытия целевого распределения и поддержанием высокой точности в областях с высокой плотностью вероятности. Значение $\alpha$ близкое к нулю способствует точности, а значение близкое к одному — покрытию.

Подход, реализованный в Alpha-DPG, демонстрирует Парето-оптимальную производительность в отношении покрытия и точности целевого распределения. Это подтверждается тем, что полученные модели располагаются на Парето-фронте, что указывает на невозможность одновременного улучшения одного показателя без ухудшения другого. Экспериментальные данные показывают, что Alpha-DPG превосходит существующие методы в данной задаче, а также обеспечивает более высокую степень разнообразия генерируемых решений по сравнению с алгоритмом GRPO.

Модели α-DPG демонстрируют оптимальное соотношение между точностью и охватом, располагаясь вдоль границы Парето, что подтверждается оценками с использованием бутстрапа (n=1000).

Оценка и Бенчмаркинг с Формальной Верификацией

Использование формальных помощников в доказательстве, таких как Lean, представляет собой надежный эталон для оценки логического мышления языковых моделей, предоставляя проверяемую истину. В отличие от традиционных оценочных метрик, зависящих от человеческих суждений или заранее определенных наборов данных, Lean позволяет создавать задачи, для которых существует математически доказуемое решение. Это обеспечивает бесспорную основу для оценки способности модели к рассуждениям, поскольку каждая предложенная моделью логическая цепочка может быть проверена на корректность с помощью системы формальной проверки. Такой подход позволяет не только количественно оценить производительность, но и выявить конкретные слабые места в процессе рассуждений, что способствует дальнейшему совершенствованию архитектуры и алгоритмов языковых моделей. По сути, Lean служит своеобразным «золотым стандартом» для оценки логических способностей искусственного интеллекта, гарантируя объективность и воспроизводимость результатов.

Для оценки эффективности языковых моделей в решении задач, требующих логического вывода, активно используется метрика Pass@K. Она определяет вероятность того, что модель сгенерирует хотя бы один корректный ответ из $K$ попыток. В сочетании с формальными системами верификации, такими как ассистент доказательств Lean, Pass@K позволяет получить надёжную и объективную оценку. Вместо простого подсчёта правильных ответов, этот подход оценивает вероятность успешного решения задачи, что особенно важно для сложных задач, где требуется не только правильный ответ, но и верифицируемый процесс его получения. Использование Pass@K в контексте Lean позволяет не только измерить производительность модели, но и подтвердить корректность её рассуждений, что открывает новые возможности для разработки и оценки систем искусственного интеллекта.

Алгоритмы, такие как GRPO, демонстрируют улучшение производительности за счет использования обратной дивергенции Кульбака-Лейблера ($KL$), позволяя модели более эффективно исследовать пространство решений и находить оптимальные ответы. Параллельно, методы регуляризации, в частности, High-KL, предлагают альтернативный подход к повышению качества генерируемых результатов. Данные техники способствуют стабилизации процесса обучения и предотвращают переобучение, что приводит к более надежным и обобщенным моделям. Использование обратной $KL$-дивергенции в GRPO и регуляризации High-KL представляют собой взаимодополняющие стратегии, направленные на достижение более высокого уровня точности и надежности в задачах генерации и рассуждений.

Модель Kimina-Prover-Distill-1.7B демонстрирует высокую точность подтверждения теорем, что подтверждается кривыми Pass@k, полученными на проверочном наборе из 200 задач.

Исследование демонстрирует, что упрощение и фокусировка на необходимом — ключ к достижению значимых результатов. Авторы работы, подобно скульпторам, отсекают избыточное, чтобы выявить суть — эффективное решение задач формального доказательства теорем. Этот подход, основанный на балансе между точностью и разнообразием, находит отклик в словах Линуса Торвальдса: «Плохой код похож на плохо сделанную скульптуру: он завален излишними деталями». В данном исследовании, применение α-дивергенций позволяет целенаправленно формировать целевое распределение, удаляя ненужное и акцентируя главное — подобно тому, как мастер отсекает лишний камень, чтобы открыть форму.

Куда Ведет Дорога?

Представленная работа, несмотря на кажущуюся строгость формализации, лишь обозначила границу возможного. Балансировка между точностью и разнообразием — не столько техническая задача, сколько философский парадокс. Увеличение покрытия пространства доказательств неизбежно влечет за собой рост вероятности тривиальных или нерелевантных решений. Необходимо осознать, что формальная верификация — это не поиск истины, а лишь подтверждение отсутствия противоречий в рамках заданной системы аксиом. Это, однако, не отменяет ценности инструмента, лишь требует большей ясности в определении целей.

Перспективы очевидны, но требуют отхода от упрощенных моделей. Применение α-дивергенций — лишь один из способов управления распределением, и его эффективность ограничена предположениями о форме целевого распределения. Следующим шагом представляется разработка методов, способных адаптировать стратегию обучения в процессе работы, учитывая не только качество текущего решения, но и его вклад в исследование всего пространства доказательств. Ненужное — это насилие над вниманием, и каждое добавленное измерение должно быть оправдано.

В конечном итоге, успех данного направления зависит от способности отказаться от иллюзии полного контроля. Ясность — милосердие. Формализация неизбежно упрощает реальность, и задача исследователя — не создать идеальную модель, а разработать инструменты, позволяющие эффективно работать с неизбежной неопределенностью. Плотность смысла — новый минимализм, и лишь в отказе от избыточности можно увидеть истинную красоту.

Оригинал статьи: https://arxiv.org/pdf/2512.05962.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-09 03:34