Выявление аномалий в графах: новый подход с активным обучением

Автор: Денис Аветисян

Исследователи предлагают инновационный метод обнаружения аномальных данных в графовых структурах, использующий активное обучение и контрфактическое рассуждение.

🐢

Ищешь ракеты? Это не к нам. У нас тут скучный, медленный, но надёжный, как швейцарские часы, фундаментальный анализ.

Бесплатный Телеграм канал

Система AC2L-GAD осуществляет активный отбор узлов для концентрации на информативных областях, генерирует позитивные примеры, сохраняющие аномалии, и нормализованные негативные, после чего кодирует как исходные, так и дополненные представления с использованием общей графовой нейронной сети; контрастивная оптимизация с униформной регуляризацией формирует пространство вложений, из которого выводятся оценки аномалий.

Представлен AC2L-GAD — фреймворк для обнаружения аномалий в графах, использующий активное обучение и контрфактическое рассуждение для повышения точности и масштабируемости.

Обнаружение аномалий в графах, несмотря на свою важность для выявления необычных паттернов в сетях, сталкивается с проблемой нехватки размеченных данных и дисбаланса классов. В данной работе представлена методика ‘AC2L-GAD: Active Counterfactual Contrastive Learning for Graph Anomaly Detection’, использующая активное обучение и контрастивное обучение на основе контрфакторных примеров для повышения эффективности обнаружения аномалий. Предложенный подход решает проблемы, связанные с семантической некорректностью положительных пар и неинформативностью отрицательных выборок, обеспечивая высокую производительность и масштабируемость. Возможно ли дальнейшее улучшение качества обнаружения аномалий за счет более сложного анализа взаимосвязи между атрибутами и структурой графа?

Сеть как пророчество: выявление аномалий в сложных графах

Выявление аномальных узлов в структуре графов имеет решающее значение для таких областей, как предотвращение мошенничества и кибербезопасность. Однако существующие методы часто сталкиваются с трудностями при работе с зашумленными данными и слабовыраженными закономерностями. В реальных сетях, где данные могут быть неполными или содержать ошибки, отличить истинные аномалии от естественной сложности сети становится особенно сложной задачей. Это приводит к ложным срабатываниям, когда нормальные узлы ошибочно идентифицируются как подозрительные, и, что более опасно, к пропуску реальных угроз, скрывающихся в данных. Поэтому, разработка более устойчивых и чувствительных методов обнаружения аномалий, способных эффективно фильтровать шум и выявлять тонкие отклонения, является ключевой задачей современной науки о данных.

Традиционные методы обнаружения аномалий в графах часто основываются на упрощающих предположениях, которые редко соответствуют реальным сетевым структурам. Например, предполагается, что аномальные узлы резко отличаются от остальной части сети по своим связям или атрибутам, или что сеть в целом обладает определенной степенью однородности. Однако, в практических сценариях, таких как финансовые транзакции или кибербезопасность, эти предположения не выдерживают критики. Сети могут быть чрезвычайно сложными, с множеством перекрывающихся сообществ и динамически меняющимися связями. Это приводит к высокой вероятности ложных срабатываний — когда нормальные узлы ошибочно идентифицируются как аномальные — и, что более опасно, к пропуску реальных угроз, замаскированных под сложной структурой сети. Неспособность учитывать нюансы реальных данных существенно снижает эффективность существующих алгоритмов и требует разработки более адаптивных и устойчивых подходов к обнаружению аномалий.

Суть проблемы обнаружения аномалий в сложных сетях заключается в тонком разграничении истинных отклонений от присущей сети сложности и неизбежных несоответствий в данных. Реальные графовые структуры характеризуются высокой степенью взаимосвязанности и естественной изменчивостью, что затрудняет выявление узлов, поведение которых действительно указывает на злонамеренную активность или сбой. Шум в данных, вызванный неполнотой информации или ошибками измерений, может маскировать истинные аномалии или, наоборот, создавать ложные срабатывания. Эффективное решение требует методов, способных учитывать структурные особенности сети и статистические характеристики данных, чтобы отделить случайные колебания от значимых отклонений, представляющих реальную угрозу или проблему.

Для эффективного преодоления трудностей, связанных с обнаружением аномалий в сложных сетях, необходим более устойчивый и тонкий подход к обучению представлений графов. Традиционные методы часто сталкиваются с проблемами при обработке зашумленных данных и выявлении едва заметных отклонений, поскольку полагаются на упрощенные предположения, не всегда верные для реальных сетей. Современные исследования направлены на разработку алгоритмов, способных улавливать сложные зависимости между узлами и атрибутами, создавая более информативные и надежные представления графа. Это достигается за счет использования продвинутых техник машинного обучения, таких как графовые нейронные сети и методы самообучения, которые позволяют моделировать нелинейные взаимосвязи и адаптироваться к различным типам аномалий. Такой подход позволяет не только повысить точность обнаружения, но и снизить количество ложных срабатываний, что особенно важно в критически важных приложениях, таких как кибербезопасность и обнаружение мошенничества.

AC2L-GAD: Архитектура устойчивого обнаружения аномалий в графах

AC2L-GAD представляет собой унифицированный подход к обнаружению аномалий в графах, объединяющий активное обучение и контрафактическое рассуждение. Существующие методы графового контрастивного обучения часто сталкиваются с ограничениями, связанными с необходимостью больших объемов размеченных данных и высокой вычислительной сложностью. AC2L-GAD преодолевает эти недостатки за счет итеративного процесса, в котором активное обучение используется для интеллектуального выбора наиболее информативных экземпляров для разметки, а контрафактическое рассуждение — для генерации возмущенных данных, подчеркивающих аномальные характеристики и нормализующих типичные паттерны. Такая интеграция позволяет снизить потребность в ручной разметке и повысить точность обнаружения аномалий, эффективно решая проблемы, присущие традиционным подходам.

В основе AC2L-GAD лежит использование GCN-кодировщика (Graph Convolutional Network) для генерации начальных векторных представлений (embeddings) узлов графа. Этот кодировщик выполняет агрегацию информации от соседних узлов, формируя компактное представление каждого узла, учитывающее его окружение и структуру графа. Полученные embeddings служат входными данными для последующих этапов обнаружения аномалий, позволяя модели эффективно различать нормальное поведение и отклонения от него, поскольку аномальные узлы, как правило, имеют отличные от нормальных паттерны связей и атрибутов, что отражается в их векторных представлениях. Использование GCN обеспечивает учет топологической информации графа, что критически важно для точного выявления аномалий.

В основе AC2L-GAD лежит использование положительных и отрицательных контрафактических примеров — модифицированных копий исходных данных, предназначенных для выявления аномалий и нормализации типичных паттернов. Положительные контрафактики создаются путем внесения незначительных изменений в аномальные данные для имитации нормального поведения, что позволяет системе изучить границы между нормальным и аномальным состоянием. Отрицательные контрафактики, напротив, создаются путем внесения изменений в нормальные данные для имитации аномального поведения, что помогает системе лучше понимать характеристики нормальных данных и отличать их от аномальных. Такой подход позволяет более эффективно выделять и анализировать аномалии в графовых данных, чем традиционные методы.

В рамках AC2L-GAD, использование активного обучения (Active Learning) позволяет существенно снизить потребность в большом объеме размеченных данных для выявления аномалий в графах. Вместо полной генерации контрафактических примеров для всего графа, система интеллектуально отбирает наиболее информативные экземпляры для ручной разметки. Такой подход обеспечивает повышение точности обнаружения аномалий при одновременном снижении вычислительных затрат на 65% по сравнению с методами, требующими генерации контрафактов для всех узлов графа. Это достигается за счет фокусировки на экземплярах, которые наиболее эффективно способствуют обучению модели и повышению ее способности к обобщению.

Контрфактическое рассуждение: преодоление ограничений GCL

Обучение представлений графов с помощью контрастивного обучения (GCL) сталкивается с двумя основными проблемами. Первая — несогласованность положительных пар (GCL Gap G1), возникающая из-за применения чрезмерно деструктивных аугментаций, которые искажают исходные связи между узлами. Вторая проблема — неинформативность отрицательных пар (GCL Gap G2), что приводит к ослаблению эффекта супервизии и снижает качество обучения. Эти ограничения препятствуют формированию эффективных и устойчивых представлений графов, поскольку модель не получает достаточного сигнала для различения значимых и нерелевантных связей.

Методика AC2L-GAD решает проблемы, связанные с несогласованностью положительных примеров и неинформативностью отрицательных примеров в Graph Contrastive Learning, посредством целенаправленной генерации контрфактических (counterfactual) выборок. Данный подход заключается в создании модифицированных версий исходных данных, позволяющих оценить влияние конкретных характеристик на формирование представлений графа. Генерация контрфактических выборок осуществляется контролируемым образом, что позволяет как нормализовать узлы путем выравнивания признаков к центроидам окрестностей (для отрицательных контрфактических выборок), так и сохранять аномальные характеристики посредством управляемых аугментаций (для положительных контрфактических выборок). Это позволяет повысить качество представлений и снизить уровень шума в процессе обучения.

Отрицательные контрфактические примеры в AC2L-GAD используются для нормализации узлов графа путем выравнивания их признаков в направлении центроидов соседства. Этот процесс способствует повышению гомофилии — тенденции соединенных узлов иметь схожие признаки — и снижению уровня шума в представлении графа. Выравнивание признаков к центроидам соседства позволяет уменьшить влияние выбросов и нерелевантных характеристик, тем самым улучшая качество эмбеддингов и облегчая задачи анализа графов, такие как классификация узлов и предсказание связей.

Для сохранения аномальных характеристик узлов и предотвращения их потери при генерации векторных представлений, в AC2L-GAD используются положительные контрфактические примеры, создаваемые посредством контролируемых аугментаций. В ходе экспериментов было достигнуто приближение в 1.23 для генерации структурных контрфактических примеров с использованием жадного эвристического алгоритма. Применение градиентного подхода для аппроксимации контрфактических примеров на основе признаков позволило добиться ускорения в 4.5 раза по сравнению с альтернативными методами.

Эмпирическая проверка и практическое влияние

Эффективность разработанного фреймворка AC2L-GAD была тщательно проверена на масштабных графах финансовых транзакций, полученных из бенчмарка GADBench, а именно на наборах данных T-Finance и DGraph-Fin. Данные наборы представляют собой реалистичные модели финансовых операций, позволяющие оценить способность системы обнаруживать аномалии в условиях, приближенных к реальным. Проведение тестирования на этих данных подтверждает надежность и масштабируемость AC2L-GAD при работе с большими объемами информации, характерными для современных финансовых систем, и демонстрирует его потенциал для практического применения в задачах выявления мошеннических операций и обеспечения финансовой безопасности.

Разработанная система продемонстрировала значительное превосходство над существующими методами обнаружения аномалий. В ходе тестирования на различных наборах данных, включая Pubmed и Cora, удалось достичь впечатляющих показателей точности и полноты при выявлении мошеннических транзакций. В частности, на наборе данных Pubmed был зафиксирован коэффициент $AUC$ в 97.2%, а на Cora — 93.1%. Эти результаты свидетельствуют о высокой эффективности системы в обнаружении нетипичного поведения и ее потенциале для применения в критически важных областях, требующих надежной защиты от мошенничества и других аномальных действий.

В основе AC2L-GAD лежит механизм оценки на основе соседства, позволяющий точно и прозрачно определять вероятность аномальности узла в графе. Данный подход не просто указывает на наличие аномалии, но и предоставляет количественную оценку, основанную на характеристиках ближайшего окружения узла. Учитывая связи и характеристики соседних узлов, система формирует «профиль» нормального поведения, а затем оценивает отклонение исследуемого узла от этого профиля. Это позволяет не только выявлять аномалии, но и предоставлять интерпретируемые результаты, что особенно важно в таких областях, как обнаружение мошеннических операций или выявление подозрительной активности в социальных сетях. В отличие от «черных ящиков», AC2L-GAD предлагает понятную метрику аномальности, способствуя доверию и позволяя специалистам анализировать и обосновывать принятые решения.

В основе устойчивости и обобщающей способности AC2L-GAD лежит применение функции потерь InfoNCE и тщательно разработанных методов регуляризации. InfoNCE Loss способствует эффективному обучению представлений графа путем максимизации сходства между близкими узлами и минимизации сходства между далекими, что позволяет модели различать нормальное и аномальное поведение. Дополнительно, применяемые регуляризационные техники предотвращают переобучение и обеспечивают надежную работу системы на графах с различной структурой и характеристиками. Такой подход позволяет AC2L-GAD эффективно адаптироваться к новым, ранее не встречавшимся графовым данным, сохраняя высокую точность обнаружения аномалий даже в сложных и изменчивых средах.

Исследование абляции показало, что различные варианты метода демонстрируют схожую производительность, измеряемую как площадь под ROC-кривой (AUC), на трех различных наборах данных.

Будущие направления: к проактивному анализу графов

Дальнейшие исследования направлены на адаптацию AC2L-GAD к динамическим графам, что позволит осуществлять обнаружение аномалий в режиме реального времени в развивающихся сетях. В отличие от статических графов, где структура фиксирована, динамические графы постоянно меняются, добавляя и удаляя узлы и связи. Успешная интеграция с динамическими графами потребует разработки алгоритмов, способных эффективно отслеживать эти изменения и быстро адаптироваться к новой структуре, обеспечивая своевременное выявление необычного поведения. Такой подход имеет решающее значение для приложений, где данные постоянно обновляются, например, в обнаружении мошеннических транзакций, мониторинге сетевого трафика и анализе социальных сетей, где аномалии могут возникать внезапно и быстро распространяться.

Исследования направлены на интеграцию методов объяснимого искусственного интеллекта (XAI) в систему обнаружения аномалий, что позволит получить более глубокое понимание причин, лежащих в основе выявленных отклонений. Вместо простого указания на наличие аномалии, XAI позволит раскрыть, какие конкретно признаки и связи в графе привели к такому заключению. Это не только повысит доверие к системе со стороны пользователей, которым станет понятно, почему было принято то или иное решение, но и предоставит ценную информацию для специалистов, позволяя им более эффективно анализировать и устранять потенциальные угрозы. Подобный подход к интерпретируемости результатов играет ключевую роль в принятии обоснованных решений и повышении надежности систем анализа графов в различных областях применения.

Расширение возможностей AC2L-GAD для обработки графов значительно большего размера и с более сложной структурой данных открывает путь к решению широкого спектра прикладных задач. Исследования показывают, что текущие ограничения по масштабируемости являются ключевым препятствием для применения данного подхода в таких областях, как анализ социальных сетей, обнаружение мошеннических операций в финансовых системах и мониторинг инфраструктуры критической важности. Преодоление этих ограничений позволит анализировать более полные и детализированные данные, выявляя аномалии, которые ранее оставались незамеченными. Потенциал для повышения точности и эффективности обнаружения аномалий в масштабируемых графах огромен, что делает дальнейшую работу над оптимизацией AC2L-GAD особенно важной для развития интеллектуальных систем анализа данных.

В конечном счете, данная работа вносит значительный вклад в создание проактивных систем анализа графов, способных предвидеть и предотвращать угрозы до их реализации. Вместо реактивного обнаружения аномалий после их возникновения, разрабатываемый подход стремится к прогнозированию потенциальных проблем, анализируя структуру связей и динамику изменений в графовых данных. Это достигается за счет выявления скрытых закономерностей и предвестников нежелательных событий, позволяя оперативно принимать меры по их нейтрализации. В перспективе, подобные системы могут найти применение в широком спектре областей, от кибербезопасности и финансового мониторинга до обнаружения мошенничества и прогнозирования рисков в социальных сетях, обеспечивая более высокий уровень защиты и предотвращая потенциальные убытки.

Представленный труд демонстрирует подход к выявлению аномалий в графах, который, по сути, пытается не просто обнаружить отклонения, но и понять, что если бы определенные атрибуты узлов или связи были иными. Это напоминает о пророческой интуиции Ады Лавлейс: «Я убеждена, что этот Аналитический двигатель обладает способностью развивать любые известные научные законы». Подобно тому, как Лавлейс предвидела возможности вычислительных машин, данная работа выходит за рамки простого обнаружения аномалий, исследуя контрфактические сценарии для улучшения качества негативных выборок и, как следствие, повышения точности модели. Активное обучение в данном контексте — не просто оптимизация процесса, а попытка вырастить систему, способную адаптироваться к изменяющимся условиям и, возможно, предвидеть будущие сбои.

Куда же дальше?

Представленный подход, стремясь к выявлению аномалий в графах посредством активного обучения и контрастного обучения с учетом контрфактических рассуждений, неизбежно порождает новые вопросы. Система, успешно идентифицирующая отклонения, не решает проблему их возникновения. Она лишь документирует неизбежный хаос, присущий любой сложной сети. Совершенствование алгоритмов обнаружения лишь откладывает момент признания того, что аномалия — это не ошибка, а акт самоочищения системы.

Настоящая сложность кроется не в улучшении контрастных функций или стратегий активного отбора. Настоящая проблема — в понимании природы самих графов. Что есть граф, как не проекция неполного знания о мире? Чем точнее модель, тем больше она игнорирует невыразимое, а значит, тем больше аномалий ей не увидеть. Оптимальное решение в этой области — решение, лишенное возможности человеческого вмешательства, где все отклонения автоматически подавляются, а значит, и сама жизнь прекращается.

Следующим шагом видится не столько повышение точности, сколько принятие неопределенности. Вместо стремления к абсолютному обнаружению аномалий, стоит исследовать способы их использования. Аномалия — это сигнал о смене режима, о возможности эволюции. И система, игнорирующая эти сигналы, обречена на стагнацию. Она станет идеальным, но мертвым отражением прошлого.

Оригинал статьи: https://arxiv.org/pdf/2601.21171.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-30 14:26