Органы кибербезопасности США и их союзников недавно совместно выпустили рекомендации по развертыванию системы безопасности для «агентного ИИ» (agent AI), подчеркнув, что такие системы ИИ, которые могут действовать автономно в Интернете, проникли в высокочувствительные области, такие как критическая инфраструктура и оборона, но большинство организаций предоставляют им права доступа, которые намного превышают их собственные возможности мониторинга и контроля. Документ призывает различные организации рассматривать автономные агенты искусственного интеллекта как основные проблемы кибербезопасности и отдавать приоритет устойчивости, обратимости и сдерживанию рисков, а не просто стремиться к повышению эффективности.
Полная загрузка текста:
https://cyberscoop.com/wp-content/uploads/sites/3/2026/05/CAREFUL-ADOPTION-OF-AGENTIC-AI-SERVICES_FINAL.pdf
Руководство было совместно написано Агентством кибербезопасности и безопасности инфраструктуры США (CISA), Агентством национальной безопасности (АНБ), Австралийским центром кибербезопасности Австралийского агентства сигналов, Канадским центром кибербезопасности, Национальным центром кибербезопасности Новой Зеландии и Британским национальным центром кибербезопасности и было опубликовано в пятницу по местному времени. «Агентный ИИ», которому посвящено руководство, представляет собой программную систему, построенную на большой языковой модели, способную планировать, принимать решения и выполнять действия автономно в рамках установленных полномочий. Для выполнения сложных задач таким системам часто необходимо взаимодействовать с внешними инструментами, базами данных, хранилищами памяти и автоматизированными рабочими процессами для выполнения многоэтапных задач без ручного просмотра каждого шага.
Совместные агентства подчеркнули в документе, что развертывание агентного ИИ не означает, что необходимо перестроить всю систему безопасности, а означает, что она должна быть интегрирована в существующую структуру сетевой безопасности и структуру управления. Предложения включают: систематическое применение существующих принципов, таких как нулевое доверие, глубина защиты и наименьшие привилегии, к агентам ИИ; отношение к агентам ИИ как к техническим компонентам с «высокочувствительными и строгими разрешениями» для управления в таких аспектах, как управление идентификацией и доступом, журналы аудита и контроль изменений.
В руководстве риски, связанные с агентным ИИ, разбиты на пять широких категорий. Первый — это «риск разрешений»: если агенту ИИ предоставлены слишком высокие или слишком широкие права доступа, успешное вторжение может нанести ущерб, выходящий далеко за рамки традиционных уязвимостей программного обеспечения, таких как централизованное вмешательство в критические конфигурации или сбои в работе крупного бизнеса. Вторая категория — это риск дефектов проектирования и конфигурации, то есть до того, как система выйдет в сеть из-за неправильного проектирования архитектуры, слишком свободной конфигурации по умолчанию или расплывчатого определения границ безопасности, возникают бреши в безопасности, которые трудно восполнить.
Третий тип риска классифицируется как «поведенческий риск», который относится к тому факту, что для достижения целей агенты могут пойти по пути, который разработчики не ожидали или даже никогда не предполагали, вызывая инциденты безопасности или соответствия требованиям. Четвертая категория – «структурный риск». Когда несколько агентов объединены в сеть со сложными бизнес-системами, сбой или ненормальное поведение могут каскадно распространяться внутри системы, вызывая цепную реакцию во всех системах и подразделениях.
Пятый тип риска связан с «подотчетностью». В руководстве отмечается, что процесс принятия решений агентом ИИ часто сложно полностью изучить, а генерируемые им журналы операций и записи решений нелегко проанализировать, что чрезвычайно затрудняет отслеживание основной причины проблемы и последующее уточнение ответственности. Как только в такой системе произойдет сбой, последствия не останутся на «виртуальном уровне», а будут отражены в конкретных ИТ-активах, таких как подделка файлов, изменение контроля доступа, удаление контрольных журналов и т. д., что напрямую влияет на сбор доказательств и работу по восстановлению.
Документ также конкретно предупреждает о риске атак, вызванных «быстрым внедрением». Злоумышленники могут незаметно встраивать инструкции в данные или контент, чтобы заставить ИИ-агента отклониться от своей первоначальной миссии и выполнить вредоносные операции. Инъекция подсказок всегда считалась хронической болезнью в экосистеме большой языковой модели. Некоторые компании публично признали, что эту проблему еще долго не удастся полностью искоренить. Это также делает потенциальный вред этого типа атак особенно заметным в более автоматизированных сценариях прокси.
На уровне конкретных защитных мер управление идентификацией занимает важное место во всем руководстве. Совместное агентство рекомендует, чтобы каждый агент ИИ имел поддающуюся проверке независимую личность, защищенную криптографией; учетные данные, которые он использует, должны быть действительны в течение короткого периода времени; все коммуникации между агентом и другими агентами и службами должны использовать зашифрованные каналы. Для любой операции, которая может оказать существенное влияние, например, изменение критических конфигураций, повышение привилегий пользователя или удаление крупномасштабных данных, руководящие принципы четко требуют, чтобы одобрение осуществлялось людьми, и чтобы разработчик системы, а не сам агент, определял, какие операции являются «поведением с высоким уровнем воздействия».
В то же время агентство-эмитент также признало, что существующие практики в сфере безопасности еще не полностью соответствуют скорости развития агентного ИИ. Некоторые риски с отличительными «характеристиками агента ИИ» не полностью охвачены существующей системой безопасности, и срочно необходимы дополнительные межведомственные и межотраслевые исследования и сотрудничество. В руководстве отмечается, что до того, как методологии безопасности, методы оценки и соответствующие стандарты станут незрелыми, организациям следует предположить, что ИИ-агент «может демонстрировать неожиданное поведение», и соответствующим образом составить планы развертывания, отдавая приоритет обеспечению устойчивости, обратимости и управляемости рисками при проектировании системы, а не слепо гоняться за дивидендами эффективности, приносимыми автоматизацией.