Риск на пути к цели: как предвидеть сбои в работе автономных агентов

В разработанной системе TRACER оценка неопределенности траектории при логических рассуждениях агента осуществляется путем вычисления и комбинирования показателей, таких как степень удивления от контента, повторение действий агента, расхождение между действиями и наблюдениями, а также разрыв в координации между агентом и пользователем, посредством максимизации рисков на каждом шаге [latex]r\_{t}=\max(U\_{t},\alpha D\_{a}(t),\beta D\_{o}^{A}(t),\gamma D\_{o}^{U}(t))[latex], после чего агрегирование рисков траектории осуществляется с акцентом на хвост распределения, используя усреднение по верхним K значениям и [latex]\ell\_{\in fty}[latex]-норму.

Новый подход позволяет оценивать вероятность неудачи сложных систем, принимающих решения в несколько этапов, фокусируясь на анализе возможных траекторий развития событий.