Искусственный интеллект выходит на тропу войны: оценка автономных кибератак

Автор: Денис Аветисян

Новое исследование демонстрирует растущие возможности передовых моделей ИИ в проведении многоступенчатых кибератак в смоделированных средах.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Телеграм канал

Наблюдения показывают, что модели искусственного интеллекта демонстрируют снижение эффективности на поздних этапах выполнения сложных задач, даже если способны успешно справляться с отдельными подзадачами, однако, начало работы с промежуточных этапов позволяет достичь результатов, недоступных при последовательном выполнении, что указывает на трудности в планировании и реализации задач, требующих долгосрочной перспективы, несмотря на способность к решению изолированных шагов.

Оценка прогресса ИИ-агентов в сценариях многошаговых кибератак с использованием киберполигонов, выявляющая улучшения производительности и ограничения в построении сложных цепочек действий.

Несмотря на быстрый прогресс в области искусственного интеллекта, способность моделей автономно решать сложные, многоступенчатые задачи, особенно в критически важных областях, остается под вопросом. В работе ‘Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios’ исследуется эволюция возможностей передовых моделей ИИ в области имитации многоступенчатых кибератак на специально созданных полигонах. Полученные результаты демонстрируют логарифмическую зависимость производительности от вычислительных ресурсов и значительное улучшение с каждой новой генерацией моделей, однако сохраняются ограничения в построении сложных цепочек действий. Какие дальнейшие шаги необходимы для создания действительно автономных агентов, способных к эффективному решению сложных задач в области кибербезопасности и за ее пределами?

Растущая сложность кибератак: от единичных проникновений к многоступенчатым кампаниям

Современные кибератаки всё чаще характеризуются не единичными проникновениями, а многоступенчатыми кампаниями, требующими от защитников понимания всей цепочки действий злоумышленников. Вместо простой попытки взлома системы, атакующие теперь тщательно планируют последовательность шагов — от первоначальной разведки и поиска уязвимостей до эксплуатации, закрепления в системе и, наконец, достижения конечной цели, будь то кража данных, шифрование или нарушение работы сервисов. Такие кампании могут длиться неделями или даже месяцами, оставаясь незамеченными традиционными системами безопасности, ориентированными на обнаружение отдельных, изолированных инцидентов. Вместо мгновенной реакции на очевидное вторжение, требуется анализ сетевого трафика, логов и поведения пользователей для выявления аномалий, указывающих на подготовку и развертывание сложной атаки.

Традиционные подходы к кибербезопасности оказываются неэффективными перед лицом современных, многоступенчатых атак, в частности, тех, что нацелены на конвейеры непрерывной интеграции и доставки (CI/CD). Эти конвейеры, предназначенные для автоматизации разработки и развертывания программного обеспечения, стали привлекательной целью для злоумышленников, поскольку компрометация на любом этапе может привести к внедрению вредоносного кода в финальный продукт. Статические методы обнаружения угроз, основанные на сигнатурах и известных шаблонах, не способны оперативно выявлять и блокировать сложные атаки, использующие новые эксплойты и обфускацию. В результате, злоумышленники получают возможность незаметно внедрять вредоносный код, который распространяется среди пользователей, минуя существующие системы защиты, и требует от организаций пересмотра стратегии кибербезопасности в сторону более адаптивных и проактивных решений.

Появление автономных угроз, способных самостоятельно адаптироваться и развиваться, выявляет существенные ограничения в традиционных методах киберзащиты. В отличие от ранее распространенных атак, требующих постоянного вмешательства злоумышленника, современные автономные системы способны самостоятельно находить уязвимости, обходить существующие барьеры и даже координировать свои действия для достижения поставленных целей. Это означает, что реактивные меры, основанные на сигнатурном анализе и ручном реагировании, становятся все менее эффективными. Необходимы проактивные системы защиты, использующие методы машинного обучения и анализа поведения для выявления аномалий и предотвращения атак на ранних стадиях, а также способные к самообучению и адаптации к новым угрозам. Успешная защита требует перехода от статической, основанной на правилах, модели к динамической, способной предвидеть и нейтрализовать действия автономных злоумышленников.

Атака на систему «Последние из могикан» включает 32 этапа, объединенных в 9 ключевых вех, охватывающих разведку, перемещение по сети, кражу учетных данных, обратную разработку, эксплуатацию через C2, компрометацию цепочки поставок и финальную утечку данных в многодоменной корпоративной сети.

Искусственный интеллект в наступлении: рассвет автономных кибератак

Современные большие языковые модели (LLM), такие как GPT-4o, Sonnet 4.5 и Opus 4.6, демонстрируют растущий потенциал в области полностью автономных кибератак. Эти модели способны самостоятельно анализировать цели, разрабатывать стратегии атак и выполнять необходимые действия без непосредственного вмешательства человека. Способность к генерации и адаптации кода, а также к анализу сетевого трафика и уязвимостей, позволяет LLM автоматизировать процессы разведки, эксплуатации уязвимостей и поддержания доступа к скомпрометированным системам. Данные модели способны не только выполнять известные типы атак, но и генерировать новые, ранее не встречавшиеся методы, что значительно усложняет задачу обнаружения и предотвращения.

Современные большие языковые модели (LLM), такие как GPT-4o, в сочетании с архитектурами типа ReAct Agent, способны к рассуждению при моделировании сложных сценариев кибератак. ReAct Agent позволяет LLM разбивать задачу на последовательность действий, планировать их выполнение и адаптировать стратегию в ответ на изменяющиеся условия и защитные механизмы. Этот подход предполагает циклическое взаимодействие между «размышлением» (reasoning) и «действием» (acting), что позволяет модели не просто выполнять заранее заданный скрипт, а динамически приспосабливаться к новому окружению и обходить препятствия, возникающие в процессе атаки. Фактически, LLM, использующие ReAct, демонстрируют способность к построению и реализации многоступенчатых атак, требующих логического вывода и адаптации к непредсказуемым событиям.

Для достижения максимальной производительности больших языковых моделей (LLM) в сфере кибербезопасности необходимо уделять внимание эффективности использования токенов и развитию узкой специализации в конкретных областях. Ограниченный объем контекста, определяемый количеством токенов, требует оптимизации запросов и ответов для сохранения релевантной информации. Параллельно, для успешного применения LLM в задачах, требующих глубоких технических знаний, таких как эксплуатация уязвимостей или анализ вредоносного ПО, требуется целенаправленное обучение и развитие специализированных возможностей, а не полагаться на общую эрудицию модели.

Результаты симуляции атаки на корпоративную сеть (32 шага) показывают, что увеличение бюджета токенов последовательно повышает успешность моделей, при этом модели Sonnet 4.5, Opus 4.5 и GPT 5.1 Codex, а также Sonnet 3.7 и GPT-4o демонстрируют стабильный прогресс, а горизонтальные линии указывают на ключевые этапы атаки.

Проверка AI в наступлении: киберполигоны и реалистичные симуляции

Киберполигоны предоставляют критически важные моделируемые среды для оценки эффективности инструментов на базе искусственного интеллекта, предназначенных для проведения кибератак. Эти полигоны позволяют тестировать возможности ИИ-агентов в контролируемых условиях, имитирующих реальные сетевые инфраструктуры и сценарии угроз. В рамках таких полигонов можно проводить комплексные испытания, включающие оценку способности ИИ обходить системы защиты, выявлять уязвимости и выполнять поставленные задачи по проникновению в сеть, без риска для реальных систем и данных. Это особенно важно для оценки новых ИИ-технологий, предназначенных для автоматизации процессов киберразведки и проведения атак.

Сложные симуляции, такие как ‘The Last Ones’ и ‘Cooling Tower’, представляют собой тщательно разработанные сетевые окружения, предназначенные для всесторонней оценки устойчивости и эффективности агентов искусственного интеллекта, используемых в кибератаках. Эти симуляции включают в себя разнообразные сетевые конфигурации, имитирующие реальные корпоративные сети, а также широкий спектр протоколов безопасности и механизмов защиты. Оценка проводится путем моделирования различных сценариев атак и анализа способности агента обходить или нейтрализовать эти механизмы, выявляя слабые места и ограничения в его алгоритмах и подходах. Разнообразие сетевых топологий и протоколов, используемых в этих симуляциях, позволяет проверить адаптивность и гибкость агентов ИИ в различных условиях, приближенных к реальным угрозам.

Стандартизированные соревнования по взлому (capture-the-flag), проводимые AISI Cyber Evaluations, позволяют объективно оценивать возможности ИИ-агентов в кибербезопасности и выявлять области для улучшения. В частности, в сценарии ‘The Last Ones’ агент Opus 4.6 продемонстрировал продвижение на 9.8 шагов, используя 10 миллионов токенов, что значительно превосходит результат GPT-4o, достигшего всего 1.7 шагов в аналогичных условиях. Данные результаты свидетельствуют о существенных различиях в эффективности различных ИИ-моделей при решении задач кибербезопасности и подчеркивают важность проведения объективных оценок для определения наиболее перспективных подходов.

Оценка передовых моделей на наборе тестов AISI показала, что средний процент успешного выполнения 71 кибер-оценки, повторенной 10 раз для каждой модели, демонстрирует их производительность с течением времени.

Контекстная осведомленность и оптимизация LLM для киберустойчивости

Успешные автономные атаки всё больше зависят от способности сохранять контекст на протяжении всей сложной операции. Для достижения этой цели применяются различные техники, среди которых особое значение приобретает компактизация контекста (Context Compaction). Эта методика позволяет эффективно обрабатывать и сохранять информацию, необходимую для поддержания последовательности действий в рамках атаки. Без надлежащего управления контекстом, сложные многоступенчатые атаки быстро теряют свою эффективность. В контексте использования больших языковых моделей (LLM), компактизация контекста становится критически важной, поскольку LLM имеют ограничения на объем обрабатываемой информации. Эффективная компактизация позволяет LLM более точно понимать и воспроизводить сложные последовательности действий, имитируя поведение опытного злоумышленника и обеспечивая более реалистичное и опасное исполнение атаки.

Наблюдаемые возможности больших языковых моделей (LLM) демонстрируют потенциал для масштабирования атак за пределы человеческих возможностей, что подчеркивает необходимость автоматизированных систем защиты. В частности, модель Opus 4.6 успешно выполнила 22 из 32 этапов сложной атаки, известной как ‘The Last Ones’, используя 100 миллионов токенов, при этом время, затраченное на выполнение, приблизилось к времени, необходимому опытному специалисту в области кибербезопасности. Этот результат указывает на то, что LLM способны не только автоматизировать существующие атаки, но и значительно ускорить их выполнение, представляя серьезную угрозу для современных систем безопасности и требуя разработки новых, адаптивных методов защиты, способных противостоять атакам, проводимым с использованием искусственного интеллекта.

Анализ последовательностей атак, в частности, использующих уязвимости протокола NTLM Relay, предоставляет ценную информацию для разработки превентивных мер защиты и повышения качества разведывательной информации об угрозах. Исследования показали, что современные языковые модели, такие как Opus 4.6, демонстрируют значительный прогресс в автоматизации сложных атак. В ходе тестирования на сценарии ‘The Last Ones’ модель сумела выполнить на 42% больше шагов по сравнению с предыдущими версиями, используя 100 миллионов токенов. Этот результат подчеркивает растущую способность ИИ к выполнению многоступенчатых атак и необходимость в автоматизированных системах защиты, способных эффективно противодействовать подобным угрозам.

Исследование демонстрирует, что прогресс в области автономных кибератак, осуществляемых передовыми моделями ИИ, напрямую зависит от вычислительных ресурсов и совершенствования архитектуры моделей. Однако, как показывает практика, простое увеличение мощности недостаточно для создания действительно сложных и последовательных атак. Это подтверждает известное высказывание Линуса Торвальдса: «Совершенство достигается не когда нечего добавить, а когда нечего убрать». В контексте кибербезопасности это означает, что создание эффективной системы защиты требует не только добавления новых функций, но и тщательной оптимизации и упрощения существующих, устранения избыточности и ненужных сложностей. Эффективная цепочка атак, как и лаконичный код, выигрывает от своей простоты и ясности.

Что дальше?

Представленная работа, подобно тщательному взвешиванию песка, демонстрирует не столько абсолютный прогресс, сколько растущую сложность проблемы. Улучшение производительности агентов в симулированных кибератаках, закономерно связанное с увеличением вычислительных ресурсов, не устраняет фундаментального ограничения: способности к последовательному построению сложных, многоступенчатых цепочек действий. Каждый новый уровень автоматизации лишь обнажает хрупкость кажущегося интеллекта, требуя все более детального контроля и, следовательно, все большего недоверия к самому коду.

Будущие исследования, вероятно, сконцентрируются на преодолении этого «узкого горлышка» — не просто на увеличении «сырой» силы моделей, а на разработке механизмов, обеспечивающих не просто реакцию на текущую ситуацию, а предвидение и планирование на несколько шагов вперед. Однако истинный прогресс не в создании «самообучающихся» систем, а в разработке инструментов, позволяющих человеку понять и контролировать их логику. Идеальное решение — это исчезновение автора, не в смысле творческого акта, а в смысле необходимости постоянного вмешательства.

В конечном итоге, задача состоит не в том, чтобы создать «искусственный интеллект», а в том, чтобы создать инструменты, которые расширят возможности человека, не заменяя его. Успех не измеряется скоростью взлома симулированного сервера, а глубиной понимания принципов, лежащих в основе как защиты, так и нападения. Стремление к совершенству — это не бесконечное добавление новых функций, а беспощадное удаление всего лишнего.

Оригинал статьи: https://arxiv.org/pdf/2603.11214.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-15 02:08