Автор: Денис Аветисян
Новое исследование выявляет практические трудности внедрения ИИ в системы кибербезопасности финансовых институтов, несмотря на его потенциальные преимущества.
Анализ барьеров, препятствующих доверию к ИИ в сфере киберразведки, основанный на данных, полученных от практиков.
Несмотря на растущий потенциал искусственного интеллекта в повышении кибербезопасности, его практическое внедрение сталкивается с существенными трудностями. В работе ‘Security Barriers to Trustworthy AI-Driven Cyber Threat Intelligence in Finance: Evidence from Practitioners’ исследуются препятствия, мешающие надежному использованию ИИ в сфере киберугроз в финансовом секторе. Полученные результаты выявляют четыре ключевые социально-технические проблемы, включая неконтролируемое использование публичных ИИ-инструментов и недостаточную защиту самих моделей от атак. Каким образом можно преодолеть эти барьеры и обеспечить доверие к системам ИИ, используемым для защиты финансовой инфраструктуры?
Эволюция угроз и пределы традиционной разведки
Современные кибератаки характеризуются беспрецедентной скоростью и масштабом, что ставит под вопрос эффективность традиционных методов сбора и анализа информации о киберугрозах (CTI). Постоянно увеличивающийся объем данных, генерируемый сетевой активностью, и стремительное развитие тактик, техник и процедур (TTP) злоумышленников, приводят к тому, что существующие системы CTI зачастую не успевают выявлять и нейтрализовать угрозы до того, как они нанесут ущерб. Организации сталкиваются с перегрузкой информацией, ложными срабатываниями и неспособностью оперативно реагировать на новые, ранее неизвестные атаки. В результате, даже при наличии развитых систем защиты, возникает значительный риск компрометации, поскольку традиционные методы CTI оказываются недостаточными для обеспечения адекватного уровня осведомленности о текущих угрозах и защиты от них.
Исследования выявляют существенный разрыв в восприятии между защитниками и атакующими, особенно в контексте атак, использующих искусственный интеллект. Специалисты по кибербезопасности зачастую недооценивают сложность и адаптивность тактик, применяемых злоумышленниками, оснащенными инструментами на базе ИИ. Этот разрыв в восприятии приводит к недостаточно эффективным стратегиям защиты, поскольку существующие меры безопасности могут быть неспособны отразить атаки, которые быстро эволюционируют и используют машинное обучение для обхода традиционных систем обнаружения. В результате, организации становятся более уязвимыми для изощренных атак, использующих возможности ИИ для автоматизации, маскировки и повышения эффективности.
В последнее время наблюдается растущая обеспокоенность, связанная с распространением так называемого “теневого ИИ” — несанкционированных инструментов искусственного интеллекта, используемых сотрудниками внутри организаций. Исследование, основанное на интервью с шестью специалистами из финансовых учреждений, выявило, что применение таких инструментов, как правило, происходит без ведома и контроля со стороны служб безопасности. Это создает серьезные пробелы в видимости угроз и значительно усугубляет существующие риски, поскольку неконтролируемый ИИ может непреднамеренно раскрывать конфиденциальную информацию или стать вектором для целевых атак. В результате организации оказываются уязвимы перед новыми видами киберугроз, которые сложно обнаружить и предотвратить с помощью традиционных средств защиты.
Искусственный интеллект в CTI: обещания и практические трудности
Применение искусственного интеллекта (ИИ) в центрах обработки информации об угрозах (ЦОУТ) позволяет автоматизировать обнаружение угроз, ускорить анализ получаемых данных и сократить время реагирования на инциденты. Автоматизация обнаружения включает в себя анализ больших объемов данных из различных источников для выявления аномалий и индикаторов компрометации. Ускорение анализа достигается за счет использования алгоритмов машинного обучения для автоматической классификации и приоритизации угроз, что позволяет аналитикам сосредоточиться на наиболее важных инцидентах. Сокращение времени реагирования обеспечивается за счет автоматизации рутинных задач, таких как блокировка вредоносных IP-адресов или изоляция зараженных систем.
Успешное внедрение систем анализа угроз на базе искусственного интеллекта (AI) напрямую зависит от преодоления сложностей, связанных с интеграцией данных из разнородных источников и обеспечением их качества. Согласно результатам опроса 14 специалистов по кибербезопасности, 42,9% респондентов указывают на низкое качество данных как на существенный барьер для внедрения AI в сфере киберразведки. Проблемы включают несогласованность форматов, неполноту данных, наличие ошибок и устаревшую информацию, что негативно влияет на точность и эффективность работы AI-алгоритмов и требует значительных усилий по очистке, нормализации и обогащению данных перед их использованием.
Эффективность систем анализа угроз на основе искусственного интеллекта (AI) напрямую зависит от надежной защиты самих AI-моделей от манипуляций и отравления данных. Атаки, направленные на изменение или искажение обучающих данных (data p<a href="https://top-mob.com/chto-takoe-stabilizator-i-dlya-chego-on-nuzhen/">ois</a>oning), могут привести к ошибочной классификации угроз и, как следствие, к неадекватным реакциям системы безопасности. Кроме того, злоумышленники могут использовать техники обхода (adversarial attacks), создавая специально разработанные входные данные, которые приводят к неправильной работе модели, даже если сама модель не была изменена. Обеспечение целостности и надежности AI-моделей требует применения многоуровневых мер безопасности, включая мониторинг входных данных, проверку целостности моделей и использование техник устойчивого обучения.
Интеграция AI CTI: от автоматизации к оркестрации
Эффективная интеграция Threat Intelligence (TI) на основе искусственного интеллекта (AI) требует подхода, ориентированного на конкретные возможности, а не на масштабные развертывания. Вместо универсальных решений, организации должны определять критически важные потребности в области безопасности — например, выявление вредоносных программ определенного типа, обнаружение атак на конкретные активы или мониторинг угроз, специфичных для отрасли. Интеграция AI CTI должна быть направлена на удовлетворение этих четко определенных потребностей, обеспечивая целенаправленное применение ресурсов и максимизируя возврат инвестиций. Такой подход позволяет избежать избыточной сложности и обеспечивает более эффективное использование возможностей AI для повышения уровня кибербезопасности.
Интеграция AI CTI с системами SIEM/SOAR позволяет автоматизировать реагирование на инциденты и оптимизировать процессы обеспечения безопасности. Взаимодействие между AI CTI, предоставляющим контекстную информацию об угрозах, и SIEM/SOAR платформами, осуществляющими сбор, анализ и корреляцию событий безопасности, позволяет автоматизировать задачи, такие как блокировка IP-адресов, изоляция затронутых систем и оповещение специалистов по безопасности. Это приводит к сокращению времени реагирования на инциденты, снижению нагрузки на аналитиков безопасности и повышению общей эффективности операций по обеспечению безопасности.
Внедрение систем CTI на базе искусственного интеллекта требует обязательного включения процессов «человек в контуре» для проверки результатов, снижения количества ложных срабатываний и обеспечения ответственности. Согласно текущим данным, 57.1% организаций, осуществляющих кибербезопасность, ежедневно используют инструменты на базе ИИ, что указывает на растущую потребность в интеграции, требующей постоянного контроля и валидации со стороны специалистов для минимизации рисков и повышения эффективности работы систем безопасности.
Поддержание AI CTI: учет дрейфа и обеспечение доверия
Постоянное снижение точности моделей искусственного интеллекта, известное как “дрейф модели”, представляет собой серьезную угрозу для систем кибербезопасности. Со временем, из-за изменений в данных, на которых они обучались, или в самой киберугрозе, первоначально эффективные алгоритмы начинают давать сбои, что приводит к ложным срабатываниям или, что еще хуже, к упущению реальных атак. Для поддержания эффективности систем на основе ИИ необходим непрерывный мониторинг производительности моделей, а также их регулярная переподготовка с использованием актуальных данных. Этот процесс требует значительных ресурсов, но является критически важным для обеспечения надежной защиты и поддержания высокого уровня доверия к автоматизированным системам анализа угроз.
Организации все чаще осознают необходимость внедрения принципов объяснимого искусственного интеллекта (XAI) в системы кибербезопасности. Это связано с тем, что принятие решений, основанных на алгоритмах, требует прозрачности и понимания логики, лежащей в основе этих решений. Недостаточно просто обнаружить угрозу; необходимо понимать, почему система пришла к такому выводу, какие факторы повлияли на это решение и насколько можно доверять полученным результатам. Применение методов XAI позволяет анализировать процесс принятия решений, выявлять потенциальные предвзятости и ошибки, а также предоставлять специалистам по безопасности инструменты для проверки и валидации работы алгоритмов. В конечном итоге, это способствует повышению доверия к автоматизированным системам защиты и позволяет более эффективно реагировать на возникающие угрозы, обеспечивая уверенность в надежности и обоснованности принимаемых мер.
Обеспечение возможности аудита решений, принимаемых системами искусственного интеллекта в сфере киберразведки (КТИ), становится критически важным для подтверждения соответствия нормативным требованиям и демонстрации эффективности этих систем заинтересованным сторонам. Значительная часть респондентов — 33,3% — выражает серьезную обеспокоенность по поводу соблюдения регуляторных требований к объяснимости работы ИИ в контексте КТИ. Это подчеркивает необходимость разработки прозрачных и документированных процессов, позволяющих отслеживать логику принятия решений ИИ, подтверждать достоверность используемых данных и обеспечивать возможность проверки соответствия установленным стандартам безопасности и конфиденциальности. Отсутствие такой возможности может привести к юридическим рискам, потере доверия и затруднить внедрение инновационных решений на основе ИИ в критически важной области кибербезопасности.
Исследование показывает, что финансовые институты, несмотря на все разговоры о революционном искусственном интеллекте в сфере киберугроз, сталкиваются с банальными проблемами интеграции данных и отсутствием доверия к результатам. Всё это, разумеется, не ново. Как говаривал Эдсгер Дейкстра: «Программирование — это не столько наука, сколько ремесло». И в этом ремесле, прежде чем мечтать о самообучающихся системах, нужно научиться соединять разрозненные базы данных и проверять входящую информацию. Сейчас это назовут «проблемами data governance» и получат инвестиции, но суть-то остаётся прежней — сложная система когда-то была простым bash-скриптом, который никто не удосужился задокументировать.
Что дальше?
Представленное исследование, как и многие другие, рисует привлекательную картину будущего, где искусственный интеллект берет на себя бремя кибербезопасности в финансовом секторе. Однако, за красивыми схемами и обещаниями «бесшовной интеграции» скрывается неизбежный технический долг. Проблемы, связанные с качеством данных, соответствием нормативным требованиям и, что особенно важно, обеспечением безопасности самих систем ИИ, кажутся не столько нерешенными, сколько перенесенными в более сложную плоскость. Всё это уже было, только раньше называлось «legacy systems».
Очевидно, что акцент сместится в сторону разработки методов верификации и валидации моделей ИИ, применяемых в критически важных областях. Вопрос не в том, чтобы создать «непробиваемый» ИИ, а в том, чтобы научиться быстро и эффективно обнаруживать и устранять уязвимости, когда они неизбежно возникнут. Если тесты показывают только зелёный свет, значит, они, скорее всего, ничего не проверяют.
В конечном итоге, «доверие» к ИИ в сфере кибербезопасности будет определяться не столько теоретическими гарантиями, сколько практической способностью системы адаптироваться к постоянно меняющимся угрозам и выдерживать атаки в реальном времени. И да, в 2035 году все эти «революционные» решения потребуют переписывания с нуля.
Оригинал статьи: https://arxiv.org/pdf/2603.23304.pdf
Связаться с автором: https://www.linkedin.com/in/avetisyan/
Смотрите также:
- БИТКОИН ПРОГНОЗ. BTC криптовалюта
- ПРОГНОЗ ДОЛЛАРА К ШЕКЕЛЮ
- ЭФИРИУМ ПРОГНОЗ. ETH криптовалюта
- MYX ПРОГНОЗ. MYX криптовалюта
- SOL ПРОГНОЗ. SOL криптовалюта
- SAROS ПРОГНОЗ. SAROS криптовалюта
- ZEC ПРОГНОЗ. ZEC криптовалюта
- РИППЛ ПРОГНОЗ. XRP криптовалюта
- ДОГЕКОИН ПРОГНОЗ. DOGE криптовалюта
- FARTCOIN ПРОГНОЗ. FARTCOIN криптовалюта
2026-03-25 10:01