Иллюзия Рациональности: Как Искусственный Интеллект Ведёт Переговоры

Автор: Денис Аветисян

Новое исследование показывает, что даже самые мощные модели искусственного интеллекта подвержены когнитивным искажениям и демонстрируют не всегда оптимальное поведение в процессе переговоров.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Бесплатный Телеграм канал

В ходе самоигровых симуляций обнаружена устойчивая подверженность современных передовых моделей, таких как Claude 4.5 Sonnet ($ρ≈0.78$) и Gemini 2.5 Pro ($ρ≈0.91$), когнитивному искажению привязки к начальному значению, что проявляется в тесной корреляции между нормализованной начальной ценой и конечным результатом, несмотря на их продвинутые возможности рассуждения.

Анализ стратегических взаимодействий передовых языковых моделей выявляет устойчивые когнитивные предубеждения и потенциально неравноправные результаты в многоагентных системах.

Несмотря на прогресс в области искусственного интеллекта, наивная вера в рациональность больших языковых моделей (LLM) может быть ошибочной. В работе ‘The Illusion of Rationality: Tacit Bias and Strategic Dominance in Frontier LLM Negotiation Games’ исследуется поведение передовых LLM в условиях многоходовых переговоров, выявляя устойчивые когнитивные искажения и расхождения в стратегиях. Полученные результаты демонстрируют, что модели не сходятся к единому оптимальному поведению, а демонстрируют предвзятые предложения и подвержены эффекту «якорения», а также проявляют доминирование одних моделей над другими. Не потребуются ли новые механизмы для смягчения этих проблем, прежде чем развертывать подобные системы в реальных сценариях?

Переговоры как окно в искусственный интеллект

Сложные переговоры представляют собой гораздо больше, чем просто владение языком; они требуют стратегического мышления и глубокого понимания мотиваций оппонента. Успешное ведение переговоров предполагает не только способность выражать собственные интересы, но и умение предвидеть действия другой стороны, оценивать её приоритеты и адаптировать собственную стратегию в соответствии с меняющейся ситуацией. Игнорирование психологических аспектов, таких как скрытые намерения или негласные правила, может привести к провалу даже при безупречном знании языка и предметной области. Таким образом, эффективные переговоры требуют от участников не только коммуникативных навыков, но и способности к анализу, прогнозированию и гибкому реагированию на действия оппонента, что делает их сложным когнитивным процессом.

Современные системы искусственного интеллекта зачастую демонстрируют трудности в ведении сложных, многоходовых переговоров, что выявляет ограничения в их способности к “теории разума” и адаптивному мышлению. В отличие от человека, способного учитывать намерения, убеждения и эмоциональное состояние оппонента, ИИ склонен к буквальному пониманию заявлений и испытывает затруднения при прогнозировании дальнейших действий, основанных на скрытых мотивах. Эта неспособность к построению модели психики другого участника переговоров приводит к неоптимальным стратегиям и снижению эффективности в динамичных ситуациях, где требуется гибкость и умение подстраиваться под меняющиеся обстоятельства. Анализ этих неудач в структурированной среде, такой как переговоры, позволяет выявить ключевые пробелы в существующих алгоритмах и разработать более совершенные модели, способные к более глубокому пониманию и взаимодействию с окружающим миром.

Изучение неудач искусственного интеллекта в структурированной среде, такой как переговоры, предоставляет ценные сведения для создания более надежных и обобщенных систем. Анализ ошибок, допущенных ИИ при попытке достижения соглашений, позволяет выявить пробелы в его способности понимать намерения оппонентов, адаптироваться к меняющимся обстоятельствам и эффективно применять стратегическое мышление. Этот подход, фокусирующийся на конкретных сценариях, позволяет разработчикам не просто улучшать алгоритмы, но и глубже понимать принципы, лежащие в основе разумного поведения. В результате, полученные знания могут быть применены для разработки ИИ, способного решать широкий спектр задач, выходящих за рамки узкоспециализированных областей и демонстрирующего истинную когнитивную гибкость.

Анализ результатов переговоров показывает выраженную иерархию, где более продвинутые модели, такие как Gemini 2.5 Pro, демонстрируют преимущество над менее мощными, например, GPT-4.1 mini, и доминируют в асимметричных переговорных ситуациях.

Переговорная арена: платформа для оценки ИИ-агентов

Платформа NegotiationArena представляет собой стандартизированную среду для оценки производительности больших языковых моделей (LLM) в различных сценариях ведения переговоров. Она позволяет проводить тестирование в контролируемых условиях, используя такие игры, как обмен ресурсами и ультиматумы. В рамках платформы модели взаимодействуют друг с другом, стремясь к оптимальному распределению ресурсов или принятию решений в условиях ограниченной информации. Это позволяет исследователям объективно сравнивать стратегии, разработанные разными LLM, и выявлять их сильные и слабые стороны в контексте переговорных процессов. Стандартизация условий и сценариев обеспечивает воспроизводимость результатов и возможность количественной оценки эффективности различных моделей.

Платформа NegotiationArena предоставляет возможность прямого сопоставления производительности различных больших языковых моделей (LLM), таких как Gemini 2.5 Pro, GPT-4.1 и Claude 4.5 Sonnet, в контролируемых условиях. Для обеспечения объективности сравнения, все модели взаимодействуют в рамках стандартизированных сценариев ведения переговоров, используя единый набор правил и параметров. Это позволяет исследователям количественно оценить различия в стратегическом мышлении, способности к адаптации и общей эффективности каждой модели, исключая влияние внешних факторов и обеспечивая воспроизводимость результатов.

Анализ поведения агентов в рамках игровых сценариев NegotiationArena позволяет исследователям выявлять конкретные сильные и слабые стороны в стратегическом мышлении и способности к адаптации. Оцениваются такие параметры, как способность агента к прогнозированию действий оппонента, построению оптимальной стратегии достижения собственных целей с учетом ограниченных ресурсов, и корректировке этой стратегии в ответ на изменяющиеся обстоятельства. Детальный анализ паттернов поведения, включая принятие решений в условиях неопределенности и склонность к риску, позволяет количественно оценить эффективность различных моделей больших языковых моделей (LLM) в задачах, требующих сложного стратегического планирования и взаимодействия.

Анализ стратегий покупателя и продавца показывает, что Gemini 2.5 Pro превосходит GPT-4.1 mini, обеспечивая более высокую общую выгоду за счет эффективной работы как в роли покупателя, так и продавца, в то время как GPT-4.1 mini демонстрирует низкую эффективность в роли продавца.

Стратегические расхождения и паттерны доминирования

Различные большие языковые модели (LLM) демонстрируют удивительное стратегическое расхождение, проявляющееся в принятии различных подходов к ведению переговоров даже в идентичных ситуациях. Наблюдения показывают, что при одинаковых начальных условиях и доступной информации, модели не просто случайно выбирают действия, а реализуют качественно отличающиеся стратегии. Это расхождение не ограничивается простым различием в параметрах или архитектуре; модели проявляют уникальные паттерны поведения, характеризующиеся отличной последовательностью действий, приоритетами и реакциями на действия оппонента. Такое поведение указывает на то, что LLM способны разрабатывать и применять разнообразные стратегии ведения переговоров, а не просто реагировать на входные данные, что подтверждает их способность к сложному стратегическому планированию.

Эксперименты показали, что более мощные языковые модели (LLM) демонстрируют систематически более высокие результаты в переговорах по сравнению со слабыми моделями, что указывает на наличие чётких паттернов доминирования. В ходе взаимодействия, сильные LLM последовательно получают более выгодные условия и более высокие выплаты, что подтверждается статистическими данными, полученными в ходе серии тестов. Разница в результатах не случайна и отражает способность сильных моделей эффективно использовать стратегические преимущества и адаптироваться к тактике слабых моделей, обеспечивая себе превосходство в процессе переговоров.

Результаты экспериментов демонстрируют, что превосходство сильных языковых моделей над слабыми в переговорных сценариях не ограничивается лишь максимизацией немедленной выгоды. Наблюдается, что более мощные модели демонстрируют понимание долгосрочных стратегических преимуществ, включая способность прогнозировать и использовать будущие взаимодействия. Это выражается в выборе стратегий, направленных на установление устойчивого переговорного преимущества, а не просто на получение максимальной выгоды в текущей сделке, что подтверждается анализом последовательности принимаемых решений и их влиянием на общую динамику переговоров.

Анализ стратегий ведения переговоров показал, что языковые модели демонстрируют подверженность когнитивным искажениям, в частности, эффекту якорения. Данное явление, особенно выраженное в форме семантического якорения (использование лексики для фиксации начальной точки переговоров), оказывает значительное влияние на тактику ведения диалога. Статистический анализ, основанный на коэффициенте корреляции Спирмена, выявил высокую степень зависимости между стратегиями моделей и проявлениями эффекта якорения: для Claude 4.5 Sonnet данный показатель составил 0.78, а для Gemini 2.5 Pro — 0.91. Это свидетельствует о том, что начальные условия, заданные через лексическое оформление, оказывают существенное влияние на дальнейший ход и исход переговоров, даже для моделей с высоким уровнем производительности.

Анализ диаграммы Санкея, отображающей процесс принятия решений моделями Claude 4.5 Sonnet и Gemini 2.5 Pro в 100 самообучающихся эпизодах, выявил тенденцию к семантической привязке, проявляющуюся в сведении различных оценок продавца к ограниченному набору предложений (особенно к значению p1=50).

Влияние рассуждений и когнитивных искажений

Несмотря на то, что методы, такие как побуждение к последовательному мышлению (chain-of-thought prompting), демонстрируют улучшение способностей к рассуждению у больших языковых моделей (LLM), они не устраняют полностью их стратегические уязвимости и предвзятости. Исследования показывают, что даже при использовании этих техник, модели сохраняют склонность к ошибкам, обусловленным особенностями обучающих данных и внутренней архитектурой. Это означает, что, хотя модели и способны генерировать более логичные и последовательные ответы, они всё ещё могут поддаваться манипуляциям или выдавать результаты, искаженные предвзятыми представлениями, заложенными в процессе обучения. Таким образом, полагаться исключительно на методы улучшения рассуждений недостаточно для обеспечения надежности и беспристрастности больших языковых моделей в критически важных приложениях.

Наблюдения показывают, что большие языковые модели (LLM) подвержены когнитивным искажениям, подобным эффекту якоря, когда первоначальная информация чрезмерно влияет на последующие суждения. Этот феномен, вероятно, унаследован моделями из обучающих данных, которые могут содержать систематические ошибки или предвзятости. Например, если модель часто сталкивается с определенной точкой зрения в данных, она может неосознанно придерживаться её даже при анализе новых, противоречивых сведений. Данное проявление предвзятости вызывает опасения при использовании LLM в критически важных областях, таких как финансы или право, где объективность и беспристрастность имеют первостепенное значение, и требует разработки методов смягчения этих когнитивных уязвимостей.

Внедрение больших языковых моделей (LLM) в практические системы принятия решений несет в себе риски, связанные с потенциальными искажениями в результатах. Установленная подверженность LLM когнитивным искажениям, таким как эффект якоря, может приводить к необъективным оценкам и ошибочным выводам, особенно в критически важных областях, например, в медицине, финансах или правосудии. Поскольку модели обучаются на огромных объемах данных, содержащих исторические предубеждения и стереотипы, эти искажения могут быть неявным образом воспроизведены и усилены в процессе генерации ответов. Таким образом, необходимо тщательно оценивать и смягчать эти риски, разрабатывая методы обнаружения и коррекции предвзятости, прежде чем LLM будут использоваться для автоматизации принятия решений, влияющих на жизнь людей.

Архитектуры, такие как генеративные агенты и Voyager, демонстрируют значительный потенциал в области приобретения новых навыков и адаптации к сложным задачам. Исследования показывают, что подобные системы способны самостоятельно осваивать различные умения, от программирования до решения логических головоломок, благодаря механизмам самообучения и планирования. Однако, несмотря на впечатляющие успехи в освоении навыков, возможности этих агентов в области ведения переговоров и достижения компромиссов остаются практически неисследованными. Дальнейшие исследования в этой области необходимы для создания систем искусственного интеллекта, способных эффективно взаимодействовать с людьми и другими агентами в реальных условиях, где умение договариваться и находить взаимовыгодные решения является ключевым фактором успеха.

Сравнение моделей Claude 4.5 Sonnet и Gemini 2.5 Pro в сценарии переговоров покупателя и продавца показывает, что Gemini 2.5 Pro демонстрирует преимущество продавца в более широком диапазоне сценариев, с точкой равновесия при большем разрыве в переговорах (около 65), в то время как Claude 4.5 Sonnet достигает равновесия при разрыве около 50, при этом заштрихованные области указывают на стабильность стратегий в различных эпизодах.

На пути к более надежным и адаптивным ИИ-переговорам

Будущие исследования должны быть направлены на снижение влияния эффекта привязки в больших языковых моделях (LLM). Этот когнитивный уклон, когда первоначальное предложение оказывает непропорционально сильное влияние на последующие переговоры, может существенно снижать эффективность AI-агентов. Перспективным направлением представляется применение методов антагонистического обучения, где модель намеренно подвергается воздействию предвзятых предложений для повышения устойчивости к ним. Альтернативно, эффективными могут оказаться техники коррекции предвзятости, направленные на выявление и нейтрализацию влияния эффекта привязки в процессе принятия решений. Успешное решение этой проблемы позволит создавать более рациональных и эффективных AI-переговорщиков, способных к объективной оценке предложений и достижению оптимальных результатов.

Исследование взаимосвязи между архитектурой языковой модели, используемыми данными для обучения и проявляемым стратегическим поведением имеет решающее значение для создания более устойчивых переговорщиков на основе искусственного интеллекта. Успех в переговорах требует не только способности понимать сложные запросы, но и умения адаптировать свою стратегию в зависимости от действий оппонента. Поэтому, критически важно тщательно анализировать, как различные архитектурные решения — например, использование механизмов внимания или трансформеров — влияют на способность модели к стратегическому мышлению. Кроме того, качество и разнообразие данных, используемых для обучения, напрямую определяют, насколько хорошо модель сможет распознавать паттерны в переговорах и предсказывать действия других участников. Понимание этих взаимосвязей позволит создавать более гибкие и эффективные системы искусственного интеллекта, способные успешно вести переговоры в различных сценариях и добиваться выгодных результатов.

Для дальнейшего развития искусственного интеллекта в области ведения переговоров, необходимо расширение спектра рассматриваемых сценариев, в частности, переход к более сложным многосторонним переговорам. Текущие системы, обученные на простых двусторонних взаимодействиях, часто демонстрируют ограниченные возможности при увеличении числа участников и усложнении структуры взаимоотношений. Включение в процесс обучения сценариев с различными мотивациями участников, динамически меняющимися условиями и неполной информацией позволит создать более устойчивые и адаптивные системы, способные эффективно функционировать в реальных, сложных переговорных ситуациях. Исследование поведения ИИ в таких условиях не только улучшит его переговорные навыки, но и предоставит ценные сведения о стратегиях и тактиках, используемых людьми в сложных групповых взаимодействиях.

Углубленное изучение искусственного интеллекта в контексте ведения переговоров обещает не только прогресс в области искусственного интеллекта, но и ценные сведения о механизмах человеческого взаимодействия. Анализ стратегий, используемых искусственными агентами при достижении соглашений, позволяет выявить универсальные принципы, определяющие успех в переговорах, независимо от того, являются ли участниками люди или машины. Понимание этих принципов может быть применено для улучшения навыков ведения переговоров у людей, а также для разработки более эффективных моделей принятия решений в различных областях, от бизнеса и дипломатии до разрешения конфликтов и повседневного общения. Таким образом, исследования в области искусственного интеллекта и переговоров представляют собой междисциплинарный подход, способствующий развитию как технологий, так и понимания человеческого поведения.

В ходе серии многоходовых игр в ультиматум, модель Gemini 2.5 Pro продемонстрировала значительное превосходство над GPT-4.1 mini в стратегии ведения переговоров. Результаты показали, что Gemini 2.5 Pro стабильно достигала более высоких выигрышей, средний показатель которых составил 83.35. Данный результат указывает на более эффективную способность модели адаптироваться к изменяющимся условиям игры, предвидеть действия оппонента и выстраивать стратегию, максимизирующую её прибыль. Наблюдаемое преимущество подчеркивает потенциал Gemini 2.5 Pro в качестве продвинутого агента для автоматизированных переговоров и требует дальнейшего изучения механизмов, лежащих в основе её успешной стратегии.

Исследование демонстрирует, что даже самые передовые большие языковые модели склонны к когнитивным искажениям, таким как эффект якоря, в процессе переговоров. Это подтверждает мысль о том, что простое увеличение масштаба модели не гарантирует рационального поведения. Дональд Дэвис однажды заметил: «Простота — это высшая степень совершенства». Данное утверждение находит отражение в работе, поскольку сложность стратегий, используемых моделями, не приводит к оптимальным результатам, а, напротив, может усугубить неравенство в переговорах. Истинная эффективность, как показывает исследование, заключается не в изощренности подхода, а в ясности и лаконичности, в умении убрать лишнее, чтобы достичь сбалансированного исхода.

Куда же это всё ведёт?

Исследование выявило, что даже самые продвинутые языковые модели, обученные на огромных массивах данных, не избавлены от когнитивных искажений в ситуациях, требующих стратегического взаимодействия. Они назвали это «разумным агентом», чтобы скрыть панику перед лицом необходимости принимать решения в условиях неопределенности. И, как оказалось, увеличение масштаба модели не гарантирует рациональности, а лишь усложняет её иллюзию.

Предстоит еще многое понять о природе этих искажений и их влиянии на исход переговоров. Простое увеличение вычислительных мощностей не решит проблему. Вместо этого, необходимо сосредоточиться на разработке более изящных методов моделирования когнитивных процессов, позволяющих создавать агентов, способных к самоанализу и коррекции собственных ошибок. Или, возможно, признать, что полная рациональность — это недостижимый идеал, а задача исследователя — научиться жить с несовершенством.

В будущем, вероятно, потребуется отказ от упрощенных моделей рациональности в пользу более реалистичных, учитывающих влияние эмоций, предубеждений и контекстуальных факторов. Иначе мы рискуем создать лишь более изощренные инструменты для воспроизведения тех же самых ошибок, что и мы сами.

Оригинал статьи: https://arxiv.org/pdf/2512.09254.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-11 21:05