Поиск аномалий: новый подход с использованием искусственного интеллекта

от

Автор: Денис Аветисян

Исследователи предлагают инновационную систему, объединяющую глубокое обучение и активное обучение для эффективного выявления угроз в данных информационной безопасности.

🐢

Ищешь ракеты? Это не к нам. У нас тут скучный, медленный, но надёжный, как швейцарские часы, фундаментальный анализ.

Бесплатный Телеграм канал
Система обнаружения аномалий ALADAEN, состоящая из модулей подготовки данных, двойного автоэнкодера с механизмом внимания и состязательным обучением, а также активного обучения с использованием генеративно-состязательных сетей, итеративно отбирает наиболее информативные неразмеченные данные и обогащает обучающую выборку синтетическими данными, обеспечивая непрерывное совершенствование и повышение точности ранжирования аномалий в условиях дефицита размеченных данных.
Система обнаружения аномалий ALADAEN, состоящая из модулей подготовки данных, двойного автоэнкодера с механизмом внимания и состязательным обучением, а также активного обучения с использованием генеративно-состязательных сетей, итеративно отбирает наиболее информативные неразмеченные данные и обогащает обучающую выборку синтетическими данными, обеспечивая непрерывное совершенствование и повышение точности ранжирования аномалий в условиях дефицита размеченных данных.

Представлен фреймворк ALADAEN, использующий состязательные автоэнкодеры и генеративно-состязательные сети для обнаружения аномалий при ограниченном количестве размеченных данных.

Современные системы кибербезопасности часто сталкиваются с проблемой выявления скрытых и долгосрочных атак, особенно при ограниченном объеме размеченных данных. В данной работе, посвященной ‘Ranking-Enhanced Anomaly Detection Using Active Learning-Assisted Attention Adversarial Dual AutoEncoders’, предложен инновационный подход, сочетающий в себе автоматические кодировщики, активное обучение и генеративно-состязательные сети для эффективного обнаружения аномалий. Разработанный фреймворк ALADAEN демонстрирует значительное повышение точности обнаружения, минимизируя затраты на ручную разметку данных и улучшая производительность в условиях несбалансированных наборов данных. Позволит ли данная методика существенно повысить устойчивость современных систем безопасности к сложным и замаскированным атакам?

За гранью шума: выявление скрытых угроз в море данных

Традиционные системы обнаружения аномалий сталкиваются с растущими трудностями при противодействии тактикам, используемым злоумышленниками из групп Advanced Persistent Threat (APT). Эти злоумышленники постоянно совершенствуют свои методы, маскируя вредоносную активность под легитимный трафик и адаптируясь к существующим механизмам защиты. В результате, стандартные алгоритмы, основанные на поиске отклонений от нормы, часто генерируют большое количество ложных срабатываний, отвлекая ресурсы специалистов по кибербезопасности и затрудняя выявление реальных угроз. Высокий уровень ложных срабатываний не только снижает эффективность работы систем безопасности, но и может привести к игнорированию важных предупреждений, оставляя организации уязвимыми перед целенаправленными атаками.

Современные информационные системы генерируют колоссальные объемы данных о своей работе, включая логи, сетевой трафик и активность пользователей. Этот непрерывный поток информации зачастую превышает возможности специалистов по безопасности, осуществляющих ручной анализ. В результате, критически важные индикаторы атак могут оставаться незамеченными среди огромного количества «шума», создавая существенные пробелы в защите. Ручной анализ, несмотря на свою ценность в сложных ситуациях, становится неэффективным для оперативного выявления и реагирования на угрозы в динамичной цифровой среде, что требует применения автоматизированных решений для обработки и анализа данных в режиме реального времени.

Для эффективного обнаружения современных угроз необходимо внедрение систем, способных выделять незначительные отклонения от нормы в сложных операционных процессах. Традиционные методы часто не справляются с задачей, поскольку современные злоумышленники используют изощренные техники, маскируя свои действия под легитимную активность. Эти системы должны анализировать большие объемы данных, выявляя аномалии, которые могут указывать на скрытую атаку, даже если они кажутся несущественными в контексте общей активности. Способность различать тонкие отклонения позволяет своевременно реагировать на угрозы, предотвращая серьезные последствия для информационных систем и данных. Разработка и внедрение таких систем представляет собой ключевую задачу в области информационной безопасности, обеспечивая надежную защиту от постоянно эволюционирующих киберугроз.

Сравнение показателей nDCG различных алгоритмов обнаружения аномалий на разных операционных системах и при различных сценариях атак демонстрирует их эффективность в выявлении угроз.
Сравнение показателей nDCG различных алгоритмов обнаружения аномалий на разных операционных системах и при различных сценариях атак демонстрирует их эффективность в выявлении угроз.

Глубокое обучение: новый взгляд на аномалии

Архитектуры глубоких нейронных сетей (ГНС), особенно с использованием механизма внимания (Attention Mechanism), обеспечивают эффективное извлечение признаков из сложных данных. Механизм внимания позволяет сети фокусироваться на наиболее релевантных частях входных данных, игнорируя несущественные детали. Это достигается путем присвоения весов различным элементам входной последовательности, определяющих их вклад в итоговый результат. В отличие от традиционных методов, которые обрабатывают все входные данные одинаково, ГНС с механизмом внимания способны автоматически определять и подчеркивать наиболее значимые характеристики данных, что повышает точность и эффективность анализа, особенно в задачах, где важна контекстная информация и долгосрочные зависимости. Примерами таких архитектур являются Transformer и различные рекуррентные нейронные сети (RNN) с вниманием.

Автокодировщики представляют собой тип нейронных сетей, предназначенных для обучения без учителя, то есть без использования размеченных данных. В контексте обнаружения аномалий, автокодировщик обучается на данных, представляющих нормальное состояние системы. В процессе обучения сеть сжимает входные данные в скрытое представление меньшей размерности, а затем восстанавливает их обратно. Эффективность восстановления данных, соответствующих нормальному поведению, будет высокой. Когда на вход автокодировщика поступают аномальные данные, процесс восстановления будет менее точным, что приводит к более высокой ошибке реконструкции. Эта ошибка реконструкции используется в качестве индикатора аномалии, позволяя идентифицировать отклонения от нормального поведения системы. Чем выше ошибка, тем вероятнее, что входные данные представляют собой аномалию. Порог ошибки реконструкции устанавливается для определения аномалий с требуемой точностью.

Использование подходов глубокого обучения позволяет существенно снизить количество ложных срабатываний при обнаружении аномалий благодаря точному моделированию сложности функционирования систем. Традиционные методы часто выдают ложные тревоги из-за неспособности учитывать тонкие взаимосвязи и вариации в данных. Нейронные сети, обученные на данных о нормальной работе системы, способны выявлять сложные закономерности и отличать реальные аномалии от незначительных отклонений, которые ранее могли быть ошибочно интерпретированы как проблемы. Это достигается за счет способности моделей к нелинейному моделированию и автоматическому извлечению признаков, что позволяет учитывать более широкий спектр факторов, влияющих на поведение системы и повышая точность анализа.

ALADAEN выполняет итеративный процесс обнаружения аномалий, начиная с построения признаков на основе графа происхождения, обучения модели на небольшом наборе размеченных данных и последующего улучшения точности за счет активного обучения, генерации данных с помощью GAN и повторного обучения до исчерпания бюджета на разметку.
ALADAEN выполняет итеративный процесс обнаружения аномалий, начиная с построения признаков на основе графа происхождения, обучения модели на небольшом наборе размеченных данных и последующего улучшения точности за счет активного обучения, генерации данных с помощью GAN и повторного обучения до исчерпания бюджета на разметку.

ALADAEN: расширение данных и обучение с активной направляющей

В системе ALADAEN для преодоления проблемы нехватки данных используется аугментация на основе генеративно-состязательных сетей (GAN). Этот подход позволяет создавать синтетические образцы данных, которые расширяют обучающую выборку без необходимости сбора и разметки дополнительных реальных данных. Сгенерированные образцы дополняют исходный набор данных, увеличивая его разнообразие и объем, что способствует улучшению обобщающей способности модели. Использование GAN позволяет создавать реалистичные синтетические данные, сохраняя при этом важные характеристики исходных данных, что позволяет модели лучше адаптироваться к новым, ранее не встречавшимся ситуациям и повышает ее устойчивость к переобучению.

Метод ActiveLearning, используемый в ALADAEN, предполагает целенаправленный запрос меток для наиболее информативных точек данных, что позволяет максимизировать эффективность обучения при минимальном вмешательстве человека. Вместо случайного выбора данных для разметки, система оценивает потенциальную информативность каждого примера, используя различные стратегии, такие как неопределенность модели или ожидаемый градиент. Это позволяет сосредоточить усилия по разметке на данных, которые наиболее существенно влияют на обучение модели, снижая общие затраты на разметку и ускоряя процесс обучения. Такой подход особенно полезен в сценариях с ограниченными ресурсами для разметки и большими объемами неразмеченных данных.

В основе ALADAEN лежит использование глубоких нейронных сетей (Deep Neural Networks) в сочетании с генеративными состязательными сетями (GAN) для аугментации данных и активным обучением. В результате, на ряде датасетов система достигает показателя nDCG до 1.0, что превышает результаты базовых моделей более чем на 100%. Особенно заметно улучшение в задачах обнаружения тонких аномалий, свидетельствующих о продвинутых угрозах, что подтверждает эффективность подхода в критически важных приложениях, требующих высокой точности и чувствительности.

Активное обучение в ALADAEN демонстрирует стабильный прирост nDCG, часто превышающий 100% для видов PX и PP, что свидетельствует о значительном улучшении производительности в сложных конфигурациях по сравнению с базовой моделью.
Активное обучение в ALADAEN демонстрирует стабильный прирост nDCG, часто превышающий 100% для видов PX и PP, что свидетельствует о значительном улучшении производительности в сложных конфигурациях по сравнению с базовой моделью.

За рамками обнаружения: передача знаний и адаптация к изменениям

Архитектура ALADAEN предусматривает использование TransferLearning, что позволяет системе переносить знания, полученные при анализе одного окружения, для повышения эффективности в других системах. Этот подход существенно ускоряет процесс адаптации к новым угрозам и снижает потребность в масштабных переобучениях. Вместо того чтобы начинать анализ с нуля для каждой новой системы, ALADAEN способна использовать уже накопленный опыт, значительно улучшая свою производительность и сокращая время, необходимое для обнаружения аномалий. Такая возможность особенно ценна в динамично меняющихся киберпространствах, где оперативное реагирование на возникающие угрозы играет критическую роль.

В основе системы ALADAEN лежит способность к динамической адаптации к изменяющимся угрозам, достигаемая благодаря интеграции обучения с подкреплением. Этот подход позволяет системе не просто реагировать на известные атаки, но и непрерывно совершенствовать свои стратегии защиты, основываясь на опыте взаимодействия с текущей средой. Вместо жестко запрограммированных правил, система самостоятельно изучает оптимальные способы противодействия, адаптируясь к новым видам атак и изменениям в сетевом трафике. В результате, ALADAEN демонстрирует повышенную устойчивость к сложным и непредсказуемым угрозам, обеспечивая более надежную защиту в условиях постоянно меняющегося ландшафта кибербезопасности. Такой механизм самообучения существенно повышает эффективность системы в долгосрочной перспективе, снижая необходимость в постоянном вмешательстве человека и ручной настройке.

В рамках архитектуры ALADAEN особое внимание уделяется использованию данных о происхождении (ProvenanceData) для повышения качества объяснений аномалий. Это позволяет не только выявлять отклонения от нормы, но и предоставлять детальную информацию об их возникновении и распространении, что существенно повышает доверие к системе. Благодаря этому, время, необходимое для проведения анализа и получения выводов, составляет всего 12.1 ± 1.9 минут, что сопоставимо с показателями передовых современных методов. Такой подход значительно упрощает и ускоряет процесс реагирования на инциденты, позволяя специалистам оперативно принимать обоснованные решения и эффективно минимизировать потенциальный ущерб.

Результаты активного обучения на наборе данных Linux PA с использованием фреймворка ALADAEN (сценарий Pandex E1) демонстрируют улучшение метрики nDCG по мере итераций и стабилизацию на более высоких значениях, что подтверждается как графиком изменения nDCG (синяя линия - исходные данные, красная - сглаженные значения), так и распределением оценок, представленным в виде ящика с усами.
Результаты активного обучения на наборе данных Linux PA с использованием фреймворка ALADAEN (сценарий Pandex E1) демонстрируют улучшение метрики nDCG по мере итераций и стабилизацию на более высоких значениях, что подтверждается как графиком изменения nDCG (синяя линия — исходные данные, красная — сглаженные значения), так и распределением оценок, представленным в виде ящика с усами.

Рассматривая предложенный ALADAEN, становится очевидным, что даже самые изящные архитектуры, сочетающие в себе автоэнкодеры, активное обучение и GAN, рано или поздно столкнутся с реальностью продакшена. Система, как бы тщательно она ни была спроектирована для обнаружения аномалий, неизбежно начнет выдавать ложные срабатывания, а злоумышленники найдут способ обойти защиту. Как метко заметил Г.Х. Харди: «Чистая математика — это искусство невозможного». Здесь же, в области кибербезопасности, задача не в достижении абсолютной точности, а в создании системы, способной максимально долго противостоять атакам, даже если это означает постоянное исправление и адаптацию. Ведь каждая «революционная» технология завтра станет техдолгом, а баги — знаком, что система всё ещё жива.

Что дальше?

Представленная работа, безусловно, добавляет ещё один слой сложности в и без того перегруженную область обнаружения аномалий. Активное обучение, автоэнкодеры, состязательные сети… Кажется, что задача не в том, чтобы найти аномалию, а в том, чтобы построить достаточно элегантную архитектуру, которая её заподозрит. Однако, как показывает практика, любой, даже самый изящный алгоритм, рано или поздно столкнётся с реальностью: данные всегда грязнее, чем в учебнике, а злоумышленники всегда найдут способ обойти защиту. По сути, мы не создаём системы обнаружения, мы создаём временные препятствия.

Особый интерес вызывает зависимость от provenance данных. В теории — прекрасно. На практике — это ещё один источник шума и потенциальных ошибок. В конечном итоге, качество provenance определяется не алгоритмом, а дисциплиной тех, кто эти данные собирает и поддерживает. И тут всё становится совсем грустно. Похоже, что вместо того, чтобы решать проблему аномалий, мы просто перекладываем её на тех, кто должен обеспечивать качество данных.

В ближайшем будущем, вероятно, мы увидим ещё больше попыток объединить различные подходы глубокого обучения в ещё более сложные архитектуры. Но стоит помнить: увеличение сложности не всегда равно увеличению эффективности. В конечном итоге, самый надёжный способ обнаружения аномалий — это не алгоритм, а внимательный администратор, который знает свою систему как свои пять пальцев. А это, увы, не автоматизируется.

Оригинал статьи: https://arxiv.org/pdf/2511.20480.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-26 19:11