Абак: Учим машины понимать поведение пользователей

Автор: Денис Аветисян

Новый подход к самообучению позволяет создавать более точные модели поведения пользователей в онлайн-рекламе, анализируя последовательность их действий.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Бесплатный Телеграм канал

В предложенном подходе, система Abacus одновременно осваивает задачи предварительной подготовки Abacus, MSM и BT посредством многозадачного обучения, после чего эмбеддинги событий и последовательностей уточняются для решения целевых задач.

Самообучающееся предтренирование, ориентированное на подсчет событий в последовательностях действий пользователей, для улучшения моделирования их поведения.

Моделирование поведения пользователей в контексте онлайн-рекламы осложняется разреженностью данных и стохастичностью действий, что требует новых подходов к извлечению полезных сигналов. В данной работе, представленной под названием ‘Abacus: Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling’, предлагается метод предварительного обучения, ориентированный на статистику событий, возникающих в последовательностях действий пользователей. Разработанный подход Abacus позволяет не только ускорить сходимость моделей, но и повысить точность прогнозирования до 6.1% AUC за счет объединения агрегированной статистики и чувствительности к последовательности событий. Возможно ли дальнейшее совершенствование моделей пользовательского поведения за счет интеграции других видов самоконтролируемого обучения и учета контекстной информации?

За пределами Счетного: Ограничения Традиционного Моделирования Пользователей

Традиционная интернет-реклама часто основывается на простых подсчетах — количестве посещенных страниц, совершенных кликов или произведенных покупок. Однако, подобный подход, фокусирующийся исключительно на количественных показателях, дает лишь поверхностное представление о поведении пользователя. Эти “счетные признаки” не способны отразить сложность мотиваций и контекст, определяющий действия в сети. Например, два пользователя, просмотревшие один и тот же товар, могут руководствоваться совершенно разными намерениями — один может активно искать возможность покупки, а другой — просто сравнивать цены. Игнорирование этих нюансов приводит к неэффективности рекламных кампаний и снижает вероятность предоставления релевантного контента, что, в конечном итоге, негативно сказывается на опыте взаимодействия пользователя с цифровой средой.

Традиционные методы моделирования пользователей, ориентированные на подсчет отдельных действий, зачастую не способны уловить последовательность этих действий во времени. Это приводит к тому, что системы персонализации не могут адекватно учитывать контекст поведения пользователя и предсказывать его дальнейшие шаги. Например, просмотр спортивных новостей сразу после поиска информации о беговой обуви может свидетельствовать о намерении начать бегать, однако простое суммирование этих двух действий не раскроет этой связи. Отсутствие понимания последовательности взаимодействия существенно ограничивает возможности создания действительно персонализированного опыта, поскольку не позволяет учитывать влияние предыдущих действий на текущие предпочтения и будущие решения пользователя.

Эффективное моделирование поведения пользователей требует перехода от простых агрегированных статистических данных к пониманию мотивации, стоящей за их действиями. Традиционные подходы, фокусирующиеся на подсчете кликов или просмотров, не позволяют выявить глубинные причины выбора того или иного контента. Более продвинутые модели стремятся реконструировать последовательность действий пользователя, анализируя контекст каждого шага и выявляя скрытые закономерности. Такой подход позволяет не просто предсказать следующее действие, но и понять, почему пользователь совершает именно его, что открывает возможности для создания действительно персонализированного и релевантного опыта. Понимание мотивации позволяет создавать более точные прогнозы и, как следствие, более эффективные стратегии взаимодействия с аудиторией, выходя за рамки простой оптимизации показателей.

Самообучение: Извлечение Знаний из Неразмеченных Последовательностей

Самообучение (Self-Supervised Learning) представляет собой альтернативный подход к обучению моделей, позволяющий обходить ограничения, связанные с необходимостью в большом количестве размеченных данных. Вместо использования ручной разметки, самообучение использует внутреннюю структуру и закономерности в неразмеченных последовательностях данных для создания задач обучения. Это достигается путем предсказания частей данных на основе других частей той же последовательности, что позволяет модели изучать представления и характеристики данных без явного внешнего контроля. Такой подход особенно эффективен при работе с последовательными данными, такими как временные ряды или логи пользовательского поведения, где взаимосвязи между элементами последовательности содержат ценную информацию.

Методы предсказания следующего события (Next Event Prediction) и предсказания гистограммы следующих K событий (Next K Events Histogram Prediction) позволяют обучать модели на основе сырых логов пользовательского поведения без необходимости ручной разметки данных. В рамках Next Event Prediction модель предсказывает следующее действие пользователя, основываясь на последовательности предыдущих действий. Next K Events Histogram Prediction, в свою очередь, предсказывает распределение вероятностей следующих K действий, что позволяет модели учитывать различные возможные пути развития пользовательского сценария. Оба подхода используют последовательности действий как сигнал для обучения, формируя представления о пользовательском поведении, которые затем могут быть использованы для различных задач, таких как персонализация и рекомендательные системы.

Создание устойчивых векторных представлений пользователей (user embeddings) на основе анализа последовательностей их действий позволяет зафиксировать тонкие различия в поведении каждого пользователя. Эти представления формируются путем обучения модели предсказывать будущие события в последовательности действий, что требует понимания индивидуальных паттернов и предпочтений. В отличие от традиционных методов, использующих явные метки, данный подход автоматически извлекает значимую информацию из сырых логов поведения, формируя компактные и информативные векторы, отражающие уникальную историю взаимодействия каждого пользователя с системой. Полученные embeddings могут быть использованы для различных задач, таких как персонализация рекомендаций, выявление аномалий и прогнозирование оттока пользователей.

Abacus: Согласование Счетного и Последовательного Моделирования

Метод Abacus представляет собой новую задачу предварительного обучения, разработанную для объединения преимуществ традиционных методов, основанных на подсчете, и мощных последовательных энкодеров. В отличие от существующих подходов, которые фокусируются либо на агрегированной статистике, либо на последовательном моделировании, Abacus стремится к обучению представлений, которые одновременно учитывают как общую частоту событий, так и их временную последовательность. Это достигается путем создания задачи, требующей от модели прогнозирования распределения типов событий, что заставляет её устанавливать связь между статистическими закономерностями и последовательными зависимостями в данных. Таким образом, Abacus способствует более эффективному использованию преимуществ обеих парадигм, улучшая способность модели к обобщению и пониманию сложных последовательностей.

Метод Abacus обучает модель предсказывать распределение типов событий ($Event-Type Distribution$), что заставляет её формировать представления, одновременно учитывающие агрегированную статистику и последовательные закономерности в данных. Предсказание распределения типов событий требует от модели понимания общей частоты различных событий, обеспечивая связь с агрегированными статистическими данными. Одновременно, необходимость предсказания для последовательности событий вынуждает модель учитывать порядок и взаимосвязи между событиями, что способствует изучению последовательных шаблонов. Такой подход позволяет объединить преимущества как статистического анализа, так и последовательного моделирования, формируя более полные и эффективные представления данных.

Для повышения устойчивости и обобщающей способности модели в процессе обучения используются методы аугментации данных, включающие в себя случайную перестановку ($Random Permutation$) и маскирование сегментов событий ($Segment Event Masking$). Случайная перестановка изменяет порядок событий в последовательности, заставляя модель учиться не полагаться на абсолютное позиционирование элементов. Маскирование сегментов событий, в свою очередь, удаляет случайные фрагменты последовательности, что вынуждает модель восстанавливать недостающую информацию и, как следствие, лучше обобщать на неполные или зашумленные данные. Оба метода позволяют модели приобретать инвариантность к незначительным изменениям во входных данных и улучшать свою производительность на новых, ранее не встречавшихся последовательностях.

Проверка и Влияние на Прогнозирование Покупок

Эксперименты, проведенные на базе общедоступного набора данных Taobao и специализированного закрытого набора данных, наглядно демонстрируют эффективность системы Abacus в повышении точности прогнозирования покупок. Результаты показывают, что Abacus значительно улучшает способность предсказывать, какие товары пользователи приобретут, что подтверждает ее потенциал для коммерческих приложений. Анализ данных выявил устойчивое улучшение показателей точности на обоих наборах данных, что свидетельствует о надежности и универсальности подхода, реализованного в Abacus. Данное подтверждение эффективности делает систему перспективным инструментом для персонализации предложений и оптимизации стратегий продаж.

Исследования показали, что применение архитектур, таких как Трансформер и GRU-энкодер, в сочетании с подходом многозадачного обучения, реализованным в Abacus (включая маскированное моделирование и метод Barlow Twins), приводит к значительному улучшению точности предсказания покупок. На большом закрытом наборе данных было зафиксировано увеличение показателя AUC до 6.1% по сравнению с традиционными методами. Данный результат демонстрирует эффективность интеграции самообучающихся алгоритмов с классическими подходами для создания более точных и надежных моделей поведения пользователей, что открывает новые возможности для персонализации и повышения эффективности электронной коммерции.

Исследования показали, что применение разработанной системы Abacus обеспечивает более быструю сходимость при обучении GRU-энкодера по сравнению с обучением с нуля. Данный эффект продемонстрирован на графике, представленном в Figure 2, и свидетельствует о значительной эффективности интеграции методов самообучения с традиционными подходами. Подобный симбиоз позволяет создавать более производительные модели пользователей, требующие меньшего количества вычислительных ресурсов и времени для достижения оптимальной точности прогнозирования покупок. Это открывает перспективы для улучшения пользовательского опыта и повышения эффективности рекламных кампаний.

Исследование, представленное в данной работе, демонстрирует, что эффективное моделирование поведения пользователей требует учета временной динамики событий. Подход Abacus, основанный на самообучении и выравнивании с сигналами подсчета событий, позволяет ускорить сходимость и повысить точность предсказаний. В этом контексте, слова Джона Маккарти — «Настоящий интеллект — это способность адаптироваться к новым обстоятельствам» — приобретают особое значение. Ведь Abacus, по сути, является попыткой создать систему, способную адаптироваться к постоянно меняющемуся потоку пользовательских действий, извлекая полезную информацию из последовательностей событий и эффективно используя её для улучшения таргетинга в контекстной рекламе.

Что дальше?

Представленная работа, безусловно, демонстрирует ценность согласования предварительного обучения с сигналами подсчета событий в последовательностях действий пользователей. Однако, не стоит забывать, что сама архитектура модели — лишь один фрагмент сложной системы. Архитектура без истории — хрупка и скоротечна. Настоящий вызов заключается не в создании более изощренных алгоритмов, а в понимании, как эти алгоритмы вписываются в более широкий контекст пользовательского поведения и динамики рекламной экосистемы.

Необходимо признать, что фокусировка исключительно на подсчете событий может привести к упрощению картины. Время — не метрика, а среда, в которой существуют системы. Понимание качественных аспектов взаимодействия пользователя с рекламой, контекста этих взаимодействий и их долгосрочных последствий остается открытым вопросом. Очевидно, что будущие исследования должны учитывать не только что происходит, но и почему это происходит, а также как это влияет на пользователя в долгосрочной перспективе.

Каждая задержка — цена понимания. Предлагаемый подход — шаг вперед, но он лишь подчеркивает необходимость более глубокого и целостного взгляда на проблему моделирования поведения пользователей. Поиск истинного понимания требует неспешного анализа, готовности к пересмотру существующих предположений и признания того, что идеальной модели не существует — есть лишь более или менее адекватные приближения к реальности.

Оригинал статьи: https://arxiv.org/pdf/2512.16581.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-20 16:59