Нейросети в рекомендациях: кто лидирует?

Автор: Денис Аветисян

Новое исследование сравнивает семь архитектур нейронных сетей, используемых в современных системах рекомендаций для электронной коммерции.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Бесплатный Телеграм канал

Точность рекомендаций и разнообразие внутри списка из $k$ элементов взаимосвязаны, демонстрируя, что повышение одного параметра не всегда ведет к улучшению другого, а требует тщательного баланса для оптимальных результатов.

Комплексный анализ эффективности графовых нейронных сетей и трансформеров в задачах повышения точности и разнообразия рекомендаций.

Несмотря на стремительное развитие алгоритмов рекомендаций, поддержание баланса между точностью предсказаний и разнообразием предлагаемого контента остается сложной задачей. В данной работе, ‘Benchmarking Deep Neural Networks for Modern Recommendation Systems’, проведено всестороннее сравнение семи различных архитектур нейронных сетей — от CNN и RNN до графовых и трансформерных моделей — на трех популярных датасетах электронной коммерции и стриминговых сервисов. Полученные результаты демонстрируют, что графовые нейронные сети (GNN) и трансформеры особенно эффективно справляются с задачей одновременного обеспечения высокой точности и разнообразия рекомендаций. Какие гибридные подходы позволят в полной мере использовать сильные стороны различных моделей для удовлетворения постоянно меняющихся потребностей пользователей?

За пределами точности: Стремление к разнообразию в рекомендациях

Традиционные системы рекомендаций, стремясь к максимальной точности предсказаний, зачастую создают так называемые “информационные пузыри”. Алгоритмы, фокусирующиеся исключительно на подтверждении существующих предпочтений пользователя, ограничивают его знакомство с новым и разнообразным контентом. В результате, пользователи всё чаще сталкиваются с информацией, которая лишь укрепляет их текущие взгляды, что приводит к снижению исследовательского поведения и уменьшению вероятности открытия действительно интересных и неожиданных вещей. Данный эффект не только сужает кругозор пользователя, но и может негативно сказаться на долгосрочной вовлеченности, поскольку отсутствие новизны постепенно снижает интерес к платформе.

Узкая направленность традиционных рекомендательных систем на точность предсказаний зачастую упускает из виду важную роль разнообразия в стимулировании случайных открытий и поддержании долгосрочного интереса пользователей. Когда система постоянно предлагает лишь то, что, по её мнению, уже нравится человеку, она ограничивает его возможности для знакомства с новым и неожиданным контентом. Исследования показывают, что именно внезапные находки и расширение кругозора способствуют более глубокому вовлечению и формированию лояльности к платформе. Отсутствие разнообразия приводит к формированию так называемых «информационных пузырей», когда пользователь сталкивается исключительно с подтверждающей его взгляды информацией, что может снизить его общую осведомленность и способность к критическому мышлению. Таким образом, включение принципов разнообразия в алгоритмы рекомендаций становится ключевым фактором для создания более полезных и привлекательных систем для пользователей.

Современные рекомендательные системы часто сосредотачиваются на предсказании предпочтений пользователя, основываясь на его предыдущей активности. Однако, подобный подход, хотя и обеспечивает высокую точность, может оказаться недостаточным для поддержания долгосрочного интереса. Исследования показывают, что пользователи получают большее удовлетворение и проявляют большую лояльность к системам, которые не только предлагают то, что им уже известно, но и активно расширяют их кругозор, знакомя с новыми и неожиданными вариантами. Внедрение элементов новизны и разнообразия в рекомендации позволяет избежать эффекта «пузыря фильтров» и способствует более глубокому вовлечению пользователя, стимулируя его к исследованию и открытию новых интересов. Таким образом, успешные системы будущего должны уметь балансировать между предсказанием известных предпочтений и представлением пользователю контента, который он, возможно, не искал, но который может оказаться для него ценным и интересным.

Для преодоления ограничений существующих систем рекомендаций требуется переход от моделей, ориентированных исключительно на предсказание предпочтений, к тем, которые явно ценят и стимулируют разнообразие. Вместо того чтобы просто предлагать пользователям то, что им, вероятно, понравится, новые алгоритмы должны активно включать элементы новизны и неожиданности. Это достигается путем введения метрик, оценивающих разнообразие предлагаемого контента, и включения этих метрик в процесс оптимизации. Такой подход позволяет избежать формирования «пузырей фильтров», расширяет кругозор пользователей и способствует более длительному взаимодействию с системой, предлагая не только ожидаемое, но и потенциально интересное, ранее неизвестное.

Использование связей между элементами с помощью передовых методов

Нейронные сети на графах (GNN) превосходят традиционные методы представления данных благодаря способности учитывать сложные взаимосвязи между элементами. В отличие от матричных разложений или коллаборативной фильтрации, которые оперируют только с взаимодействиями пользователь-элемент, GNN строят граф, где элементы являются узлами, а связи между ними отражают различные типы отношений (например, совместные покупки, атрибутивное сходство или семантическую близость). Это позволяет GNN не только учитывать явные взаимодействия, но и выводить скрытые связи, что приводит к более полному и контекстуально-обогащенному представлению каждого элемента. В результате, векторные представления, полученные с помощью GNN, более точно отражают характеристики и взаимосвязи элементов, повышая эффективность рекомендательных систем и других приложений, требующих понимания сложных взаимосвязей между данными.

Сиамские сети эффективно измеряют схожесть между товарами, что позволяет создавать более разнообразные списки рекомендаций. Архитектура сиамской сети состоит из двух идентичных нейронных сетей, каждая из которых обрабатывает отдельный товар. Выходом каждой сети является векторное представление товара, и схожесть между двумя товарами определяется как расстояние между этими векторами, часто с использованием косинусного расстояния или евклидовой метрики. Обучение сети происходит путем минимизации расстояния между векторами схожих товаров и максимизации расстояния между векторами несхожих товаров. В контексте рекомендательных систем, это позволяет выявлять товары, которые семантически близки, даже если они не были совместно приобретены пользователями, что способствует увеличению разнообразия рекомендаций и снижению эффекта «пузыря фильтров».

Метод контентно-ориентированной фильтрации (Content-Based Filtering) дополняет более сложные подходы, такие как графовые нейронные сети и сети-сиамцы, путем предложения товаров на основе их внутренних характеристик. В отличие от коллаборативной фильтрации, не требующей информации о других пользователях, этот метод анализирует атрибуты самого товара — описание, категорию, теги и прочие параметры. Особенно эффективен контентно-ориентированный подход для нишевых продуктов, где данных о взаимодействии пользователей недостаточно для построения точных коллаборативных моделей. Это позволяет предлагать релевантные товары даже для новых или малопопулярных позиций, основываясь исключительно на их содержательных характеристиках и предпочтениях пользователя, выраженных в его предыдущих взаимодействиях с аналогичными товарами.

Комбинирование описанных методов — нейронных сетей графов, сиамских сетей и контент-фильтрации — обеспечивает надежный фреймворк для генерации рекомендаций, балансирующий между релевантностью и исследованием новых позиций. Такой подход позволяет достичь до 92% точности на определенных наборах данных, обеспечивая как предоставление пользователю наиболее подходящих товаров, так и расширение спектра предлагаемых позиций для повышения вовлеченности и открытия новых интересов. Эффективность достигается за счет совместного использования информации о связях между товарами, их семантической близости и характеристиках контента.

Визуализация метрик на данных конкурса Netflix позволяет оценить эффективность различных алгоритмов рекомендаций.

Эмпирическая оценка и метрики производительности

Наборы данных Amazon Product Dataset, Netflix Prize Dataset и Retail Rocket Dataset представляют собой ценные ресурсы для оценки производительности систем рекомендаций. Amazon Product Dataset содержит информацию о покупках и рейтингах товаров, позволяя оценить точность предсказания предпочтений пользователей. Netflix Prize Dataset, включающий данные о рейтингах фильмов, служит для анализа алгоритмов коллаборативной фильтрации. Retail Rocket Dataset, содержащий данные о просмотрах и покупках товаров в интернет-магазине, предоставляет возможность оценить производительность систем в условиях реального коммерческого трафика и более детально проанализировать влияние различных факторов на поведение пользователей. Эти наборы данных широко используются для сравнения эффективности различных методов и алгоритмов, а также для выявления их сильных и слабых сторон.

Для количественной оценки рекомендательных систем критически важны метрики точности ($Precision$), полноты ($Recall$), F1-меры и разнообразия списка рекомендаций (Intra-List Diversity — ILD). $Precision$ определяет долю релевантных элементов среди рекомендованных, в то время как $Recall$ оценивает долю релевантных элементов, которые были успешно рекомендованы. F1-мера является гармоническим средним между $Precision$ и $Recall$, обеспечивая сбалансированную оценку. ILD, в свою очередь, измеряет разнообразие представленных в списке рекомендаций элементов, что важно для предотвращения формирования «пузырей фильтров» и повышения удовлетворенности пользователя. Комбинированное использование этих метрик позволяет комплексно оценить качество рекомендательной системы, учитывая как ее точность, так и способность предлагать разнообразный контент.

Графовые нейронные сети (GNN) демонстрируют высокую эффективность при работе с набором данных Retail Rocket, превосходя традиционные методы рекомендаций. Ключевым фактором является использование GNN информации об отношениях между товарами, что позволяет значительно улучшить разнообразие выдаваемых рекомендаций. В частности, GNN способны учитывать контекст взаимодействия пользователей с товарами и структуру каталога, что приводит к повышению метрики Intra-List Diversity (ILD) и, как следствие, к более релевантным и разнообразным результатам по сравнению с алгоритмами, не учитывающими связи между элементами.

Максимальные значения метрики Intra-List Diversity (ILD), оценивающей разнообразие в списке рекомендаций, достигаются различными архитектурами нейронных сетей в зависимости от используемого набора данных. На датасете Retail Rocket наибольшее разнообразие демонстрируют графовые нейронные сети (GNN), в то время как на Amazon и Netflix лучшие результаты показывает комбинация Siamese Networks и сверточных нейронных сетей (CNN). Это указывает на то, что выбор оптимальной архитектуры для максимизации ILD должен учитывать специфику данных и взаимосвязи между элементами в них. Значения ILD рассчитываются как среднее расстояние между рекомендованными элементами в пространстве признаков, и более высокие значения указывают на более разнообразные списки рекомендаций.

Использование таких наборов данных, как Amazon Product Dataset, Netflix Prize Dataset и Retail Rocket Dataset, в сочетании с метриками точности, полноты, F1-меры и внутрисписочного разнообразия (Intra-List Diversity, ILD), позволяет проводить строгую сравнительную оценку различных методов рекомендательных систем. Объективное измерение производительности на этих данных предоставляет эмпирические доказательства эффективности алгоритмов в приближенных к реальным условиях эксплуатации, позволяя выявить наиболее подходящие методы для конкретных сценариев и задач. Полученные результаты могут быть использованы для обоснования выбора алгоритма и оценки его потенциального влияния на ключевые показатели бизнеса.

Визуализация метрик на наборе данных Retail Rocket демонстрирует ключевые показатели электронной коммерции.

К эффективным и адаптивным системам рекомендаций

Использование спайковых нейронных сетей (SNN) представляет собой перспективный подход к созданию энергоэффективных архитектур рекомендательных систем. В отличие от традиционных искусственных нейронных сетей, SNN имитируют принципы работы биологических нейронов, передавая информацию посредством импульсов, что значительно снижает энергопотребление. Особенно эффективным оказывается сочетание SNN с автоматическим поиском архитектуры нейронных сетей (NAS). NAS позволяет оптимизировать структуру SNN, автоматически подбирая наиболее подходящую конфигурацию для конкретной задачи рекомендации, что приводит к повышению точности и одновременному снижению вычислительных затрат и энергопотребления. Такой симбиоз технологий открывает путь к созданию масштабируемых и устойчивых рекомендательных систем, способных эффективно работать на мобильных устройствах и в условиях ограниченных ресурсов.

Методы федеративного обучения открывают новые возможности для персонализированных рекомендаций и повышения масштабируемости систем. Вместо централизованного хранения данных пользователей, федеративное обучение позволяет обрабатывать информацию непосредственно на устройствах пользователей — смартфонах, планшетах и других гаджетах. Это не только повышает конфиденциальность данных, но и снижает нагрузку на центральный сервер. В процессе обучения модели, алгоритмы обмениваются лишь параметрами модели, а не самими данными, что существенно уменьшает требования к пропускной способности сети. Такой подход позволяет учитывать более широкий спектр предпочтений пользователей, даже тех, кто не желает делиться своими данными, и адаптировать рекомендации к индивидуальным потребностям с большей точностью. Благодаря этому, федеративное обучение становится перспективным направлением в развитии интеллектуальных рекомендательных систем, способных эффективно работать с распределенными данными и обеспечивать высокую степень персонализации.

Методы разложения матриц, такие как сингулярное разложение (SVD) или не-отрицательная матричная факторизация (NMF), традиционно используются для выявления скрытых закономерностей в данных о предпочтениях пользователей и товарах. Однако, для повышения точности и релевантности рекомендаций, эти методы все чаще комбинируются с анализом тональности. Интеграция анализа тональности позволяет учитывать эмоциональную окраску отзывов и комментариев пользователей о товарах. Например, положительные отзывы усиливают вес соответствующих товаров в процессе разложения матриц, а отрицательные — ослабляют. Такой подход позволяет не только предсказывать, какие товары пользователь, вероятно, оценит, но и учитывать его субъективное восприятие, что приводит к более персонализированным и точным рекомендациям. В результате, система способна предлагать не просто популярные товары, а те, которые с наибольшей вероятностью вызовут положительные эмоции у конкретного пользователя.

Современные системы рекомендаций стремятся к созданию не просто эффективных, но и устойчивых к изменениям моделей, способных адаптироваться к динамичным предпочтениям пользователей. Интеграция передовых технологий, таких как нейронные сети с импульсной передачей данных и автоматизированный поиск архитектур, открывает возможности для существенного снижения энергопотребления и повышения производительности. Параллельно, применение федеративного обучения позволяет использовать децентрализованные источники данных, обеспечивая конфиденциальность и масштабируемость. Такой подход позволяет не только улучшить точность рекомендаций, но и создать системы, способные к самообучению и адаптации к новым тенденциям, что критически важно в условиях постоянно меняющегося цифрового ландшафта и индивидуальных потребностей каждого пользователя.

Исследование, посвященное сравнительному анализу архитектур нейронных сетей для систем рекомендаций, подчеркивает неизбежность эволюции и адаптации. Как отмечает Роберт Тарьян: «Алгоритмы должны быть разработаны так, чтобы их можно было легко понять, изменить и расширить». Эта мысль перекликается с основным выводом статьи о том, что графовые нейронные сети и трансформеры демонстрируют наиболее гибкий подход к балансированию точности и разнообразия рекомендаций в различных наборах данных электронной коммерции. Эффективность этих архитектур заключается не только в текущей производительности, но и в их потенциале для дальнейшей оптимизации и интеграции с новыми технологиями, что подтверждает важность проектирования систем с учетом будущей эволюции.

Куда же дальше?

Представленное исследование, тщательно взвешивая достоинства графовых нейронных сетей и трансформеров в контексте рекомендательных систем, лишь подчеркивает неумолимую истину: любая архитектура — временное решение. Достижение баланса между точностью и разнообразием — это не конечная цель, а лишь текущая точка в пространстве компромиссов. Поиск “идеальной” модели, способной предвосхитить прихоти потребителя, обречён на провал, ибо сама природа предпочтений непостоянна.

Очевидно, что настоящая долговечность кроется не в сложности алгоритма, а в его адаптивности. Будущие исследования должны сместить фокус с улучшения отдельных архитектур на разработку систем, способных плавно эволюционировать, интегрируя новые данные и корректируя свои стратегии. Особое внимание следует уделить методам, позволяющим оценивать не только предсказуемость, но и устойчивость рекомендаций во времени — как быстро “новинка” превращается в “устаревшее”.

В конечном счёте, задача рекомендательных систем — не просто удовлетворить текущий спрос, а создать среду, в которой предпочтения могут медленно и органично развиваться. Именно в этой медленной эволюции, а не в мгновенной точности, заключается истинная устойчивость любой системы.

Оригинал статьи: https://arxiv.org/pdf/2512.07000.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-09 23:37