Стадный Инстинкт ИИ: Когда Агенты Переоценивают Успех

от

Автор: Денис Аветисян

Новое исследование показывает, что интеллектуальные агенты склонны к завышенным оценкам участия в сетевых играх, даже при наличии противоречащих данных.

🐢

Ищешь ракеты? Это не к нам. У нас тут скучный, медленный, но надёжный, как швейцарские часы, фундаментальный анализ.

Бесплатный Телеграм канал

Анализ влияния исторических данных и эффектов сетевого взаимодействия на поведение многоагентных систем, демонстрирующий отклонение от классических экономических моделей равновесия.

В традиционных моделях теории игр, равновесие определяется рациональным поведением участников, однако, применительно к системам, управляемым искусственным интеллектом, это предположение может оказаться несостоятельным. В работе ‘How AI Agents Follow the Herd of AI? Network Effects, History, and Machine Optimism’ исследуется, как агенты, основанные на больших языковых моделях, взаимодействуют в условиях сетевых эффектов, где индивидуальная выгода зависит от участия других агентов. Полученные результаты демонстрируют, что такие агенты склонны к “AI-оптимизму” — переоценке участия других, даже при наличии противоречащих данных, что связано со структурой исторических данных, используемых для обучения. Может ли учет влияния “исторического контекста” стать ключом к созданию более реалистичных и предсказуемых моделей поведения в системах, управляемых искусственным интеллектом?

Временные аномалии стратегического взаимодействия

Понимание стратегического взаимодействия является краеугольным камнем экономики и теории игр, однако его вычислительное моделирование сопряжено со значительными трудностями. Классические методы часто оказываются неспособными справиться со сложностью многоагентных систем и возникающим в них поведением. Проблема заключается в экспоненциальном росте вычислительных затрат по мере увеличения числа агентов и возможных стратегий, что делает точный анализ даже относительно простых сценариев непосильным. Кроме того, моделирование рационального поведения каждого агента в условиях неполной информации и динамически меняющейся среды требует учета множества факторов и предположений, что вносит дополнительную неопределенность в результаты. Таким образом, создание адекватных и эффективных моделей стратегического взаимодействия остается сложной задачей, требующей разработки новых подходов и инструментов.

Традиционные вычислительные методы моделирования взаимодействия множества агентов зачастую сталкиваются с существенными трудностями при работе со сложными системами. Причина кроется в экспоненциальном росте вычислительной нагрузки по мере увеличения числа агентов и усложнения правил их взаимодействия. Это приводит к тому, что моделирование даже относительно простых сценариев требует огромных ресурсов и времени, а попытки учесть непредсказуемое, эмерджентное поведение — возникающее из взаимодействия агентов, а не запрограммированное заранее — становятся практически невозможными. Например, предсказать долгосрочные последствия действий каждого участника в сложной экономической модели или спрогнозировать поведение толпы в чрезвычайной ситуации, используя классические алгоритмы, представляется крайне сложной задачей. В результате, традиционные подходы часто упрощают реальность, игнорируя важные факторы и приводя к неточным или нереалистичным результатам, что ограничивает их применимость в исследованиях и практических задачах.

В связи со сложностью моделирования стратегических взаимодействий в многоагентных системах, возникает потребность в инновационных подходах. Исследования всё чаще обращаются к использованию больших языковых моделей (LLM) в качестве автономных агентов в этих сложных средах. LLM, обученные на огромных объемах текстовых данных, демонстрируют способность к рассуждению, планированию и адаптации, что позволяет им эффективно взаимодействовать друг с другом и с окружающей средой. Такой подход открывает новые возможности для изучения динамики стратегических взаимодействий, позволяя моделировать поведение агентов в различных сценариях и предсказывать их реакции на изменяющиеся условия. Более того, LLM позволяют исследовать сложные стратегии и неявные правила, которые ранее было трудно формализовать и включить в традиционные вычислительные модели, что способствует более реалистичному и глубокому пониманию экономических и игровых процессов.

Исторические данные и адаптация агентов

В рамках исследования проводится анализ возможностей использования больших языковых моделей (БЯМ), а именно Qwen-turbo, Qwen-2.5-1.5B и Qwen-max, для моделирования агентов в многоагентных системах. Данные БЯМ применяются для симуляции поведения агентов, позволяя исследовать их взаимодействие и динамику в различных сценариях. Использование этих моделей обусловлено их способностью к генерации последовательных и контекстуально релевантных ответов, что необходимо для реалистичного моделирования поведения агентов в сложной среде. Целью является создание виртуальной среды, в которой агенты, управляемые БЯМ, могут взаимодействовать друг с другом и с окружающей средой, позволяя анализировать различные стратегии и принимать решения.

Для эффективной работы агентов в многоагентной системе критически важен доступ к историческим данным, включающим информацию о количестве участников и ценах. Эти данные служат основой для принятия решений агентами, позволяя им оценивать текущую ситуацию и прогнозировать возможные исходы. В частности, количество участников позволяет агентам оценить ликвидность и конкуренцию, а данные о ценах — определить оптимальные стратегии для достижения своих целей. Отсутствие или неточность этих данных существенно снижает эффективность агентов и реалистичность моделируемых сценариев, приводя к неоптимальным или ошибочным решениям.

Качество исторических данных, в особенности их временная согласованность (temporal coherence), имеет решающее значение для корректного рассуждения агентов и получения реалистичных результатов моделирования. Несогласованность во временных рядах, например, пропуски данных или противоречивые записи, может привести к ошибочным выводам агентов при анализе тенденций и прогнозировании будущих событий. Для обеспечения достоверности результатов моделирования необходимо, чтобы исторические данные были полными, точными и отражали последовательность событий во времени. В частности, при работе с финансовыми данными, такими как цены и объемы торгов, даже незначительные искажения во временных рядах могут существенно повлиять на стратегии, разрабатываемые агентами, и привести к неадекватным решениям.

Агентное обучение позволяет языковым моделям, используемым в качестве агентов, адаптировать и совершенствовать свои стратегии на основе наблюдаемых результатов взаимодействия. Этот процесс подразумевает анализ исходов действий агента в смоделированной среде, выявление закономерностей и корректировку параметров поведения для оптимизации будущих решений. В частности, агенты могут использовать обратную связь от своих действий для улучшения точности прогнозирования, повышения эффективности выбора стратегий и, в конечном итоге, достижения лучших результатов в многоагентной системе. Обучение происходит путем обновления внутренних параметров модели на основе полученных данных, что позволяет агенту динамически приспосабливаться к изменяющимся условиям и улучшать свою производительность со временем.

Траектория цены и ожидания агентов

В ходе экспериментов была систематически изменена траектория цены для оценки реакции агентов. Использовались четыре стратегии ценообразования: фиксированная цена, восходящая цена, нисходящая цена и случайная цена. Манипуляции ценой проводились для определения влияния различных ценовых моделей на прогнозирование будущей активности агентов и выявления отклонений от рационального поведения. Каждая стратегия была реализована с целью создания различных экономических стимулов и наблюдения за соответствующими изменениями в ожиданиях и действиях агентов. Полученные данные позволили проанализировать, как траектория цены влияет на формирование представлений агентов об участии в системе и их готовность к взаимодействию.

В ходе экспериментов было выявлено, что языковые модели (LLM) демонстрируют устойчивую тенденцию к “AI-оптимизму” — систематической переоценке будущих показателей участия, даже при наличии противоречащих данных. Наблюдаемый эффект проявляется в том, что агенты, управляемые LLM, предсказывают более высокий уровень участия в системе, чем фактически наблюдается, несмотря на поступающую информацию, указывающую на иное. Этот феномен сохраняется при различных условиях и является отличительной чертой поведения LLM-агентов в исследуемых сценариях, указывая на отклонение от строго рационального экономического поведения.

В ходе экспериментов наблюдалась частичная сходимость оценок участия агентов к теоретическим уровням при использовании упорядоченных стратегий ценообразования (возрастающей и убывающей) в условиях слабых сетевых эффектов ($β = 0.25$). Однако, при сильных сетевых эффектах ($β = 0.75$) и использовании случайной стратегии ценообразования, агенты не демонстрировали сходимости к теоретическим уровням участия. Это указывает на то, что способность агентов адаптировать свои ожидания к изменяющимся ценам и сетевым эффектам ограничена, особенно когда влияние действий других агентов значительно.

Проявление “AI Оптимизма” — тенденции к завышению будущих показателей участия — особенно выражено в условиях сильных сетевых эффектов. Это означает, что полезность агента (его выгода от участия) существенно зависит от действий других агентов в системе. При $β = 0.75$, когда влияние действий других участников максимально, наблюдается наиболее значительное отклонение от рационального поведения и неспособность агентов к сходимости к равновесию, даже при наличии упорядоченных (возрастающих или убывающих) траекторий цен. В таких условиях, индивидуальные ожидания агентов оказываются устойчиво смещенными вверх, несмотря на отсутствие эмпирического подтверждения и противоречащие данные, что указывает на значительную роль коллективного поведения и взаимного влияния в формировании прогнозов.

Эксперименты показали, что агенты часто не достигают равновесия, основанного на оправданных ожиданиях (Fulfilled Expectation Equilibrium — FEE), демонстрируя отклонение от рационального поведения. В статических играх, где отсутствует исторические данные, агенты не демонстрировали сходимости к FEE, а наблюдалась значительная дисперсия в ожиданиях относительно участия. Это указывает на то, что агенты не способны эффективно корректировать свои прогнозы, основываясь исключительно на текущей информации о ценах, и продолжают формировать нереалистичные ожидания, даже при отсутствии подтверждающих данных или признаков конвергенции к равновесному состоянию.

Импликации и перспективы исследований

Наблюдаемый феномен, получивший название “ИИ-оптимизм”, указывает на склонность языковых моделей, даже при доступе к историческим данным, демонстрировать предвзятость в своих прогнозах. Исследование показывает, что агенты, основанные на этих моделях, могут систематически переоценивать вероятность благоприятных исходов в стратегических ситуациях, что приводит к принятию неоптимальных решений. Эта тенденция, вероятно, обусловлена особенностями обучения моделей и их способностью экстраполировать паттерны из данных, не учитывая при этом все возможные факторы и риски. В результате, агенты могут игнорировать потенциальные негативные последствия своих действий, полагаясь на оптимистичные, но необоснованные прогнозы, что особенно критично в динамичных и конкурентных средах.

Наблюдаемое смещение в прогнозах, демонстрируемое агентами на основе больших языковых моделей, имеет значительные последствия для широкого спектра приложений, где точное моделирование ожиданий играет ключевую роль. В частности, это касается симуляций рынков, где искаженные прогнозы могут привести к неверной оценке активов и неоптимальным инвестиционным стратегиям. Аналогичным образом, в задачах распределения ресурсов, предвзятые оценки спроса и предложения могут привести к неэффективному использованию ограниченных ресурсов. В контексте разработки игр, неточные модели поведения игроков могут привести к дисбалансу и снижению увлекательности игрового процесса. Таким образом, учет и смягчение этих предвзятостей становится критически важным для обеспечения надежности и эффективности систем, основанных на моделировании ожиданий.

Исследования указывают на необходимость разработки методов смягчения предвзятости, проявляющейся в прогнозах агентов на основе больших языковых моделей. Будущие работы должны быть направлены на совершенствование обучающих данных, уделяя особое внимание репрезентативности и разнообразию представленных сценариев. Не менее перспективным представляется внедрение более сложных механизмов рассуждений, позволяющих агентам не просто экстраполировать исторические данные, но и критически оценивать их, выявлять потенциальные искажения и учитывать контекстуальные факторы. Такой подход может способствовать формированию более объективных и надежных прогнозов, особенно в стратегических средах, где даже незначительные ошибки могут привести к неоптимальным решениям и нежелательным последствиям.

Исследование взаимодействия между обучением агентов, сетевыми эффектами и возникновением коллективного поведения в сложных многоагентных системах представляет собой важную задачу для дальнейшего изучения. Понимание того, как индивидуальное обучение агентов влияет на динамику всей системы, особенно в условиях сетевых взаимодействий, может раскрыть новые закономерности формирования коллективного поведения. Наблюдения показывают, что даже незначительные изменения в алгоритмах обучения или структуре сети могут приводить к неожиданным и масштабным последствиям, формируя самоорганизующиеся паттерны и emergent свойства. Углубленный анализ этих процессов необходим для разработки эффективных стратегий управления сложными системами, начиная от экономических моделей и заканчивая оптимизацией логистических цепочек и моделированием социальных взаимодействий. Дальнейшие исследования должны быть направлены на выявление ключевых факторов, определяющих стабильность и устойчивость коллективного поведения в условиях неопределенности и изменчивости среды.

Исследование демонстрирует, что агенты, основанные на больших языковых моделях, в условиях сетевых эффектов склонны к чрезмерному оптимизму, переоценивая уровень участия, даже когда данные указывают на обратное. Этот феномен напоминает о том, что структура исторических данных играет ключевую роль в формировании их логических выводов. Как отмечал Пол Эрдеш: «Математика — это искусство находить закономерности в хаосе». В данном контексте, агенты, сталкиваясь с неполной или искаженной историей, создают собственные, упрощенные закономерности, что приводит к отклонению от традиционных моделей равновесия, характерных для экономической теории игр. Это подтверждает идею о том, что любое упрощение имеет свою цену в будущем, поскольку агенты, полагаясь на неполную информацию, рискуют принимать неоптимальные решения.

Что дальше?

Наблюдаемый феномен «искусственного оптимизма» в многоагентных системах, безусловно, не является случайностью, но скорее закономерностью, диктуемой структурой исторических данных. Каждый «коммит» в летописи взаимодействия агентов формирует предвзятость, влияющую на последующие итерации. Задержка в исправлении этих искажений — неизбежный налог на амбиции создания систем, способных к сложному коллективному поведению. По сути, мы наблюдаем не столько отклонение от равновесия, сколько новое, специфичное для машинного обучения, определение равновесия, где история играет роль не пассивного фона, а активного участника.

Предстоит разобраться, насколько универсален этот эффект. Ограничивались ли мы спецификой исследованных игр с сетевыми эффектами, или же «искусственный оптимизм» — фундаментальное свойство систем, обучающихся на ограниченных исторических данных? Необходимо перейти от анализа отдельных игр к изучению эволюции стратегий во времени, моделируя не только взаимодействие агентов, но и динамику самой «памяти» системы — то есть, способа хранения и интерпретации прошлого опыта.

В конечном счете, все системы стареют — вопрос лишь в том, делают ли они это достойно. Время — не метрика, а среда, в которой существуют системы. Задача исследователя — не остановить энтропию, но понять ее закономерности и научиться строить системы, способные адаптироваться к неизбежному течению времени, сохраняя при этом способность к рациональному принятию решений.

Оригинал статьи: https://arxiv.org/pdf/2512.11943.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-16 12:11