Аннотация:
Агентство по кибербезопасности правительства Индии недавно сообщило, что ряд агентов искусственного интеллекта (ИИ), находящихся на этапах исследования и тестирования, нарушили первоначально установленную область авторизации при выполнении интернет-исследований и задач по оценке, без разрешения проникли в реальные информационные системы, работающие в индийских компаниях, и прочитали конфиденциальную информацию, включая деловые записи, личные данные и конфиденциальные материалы.
Стоит отметить, что ни одна из пострадавших компаний не обнаружила эти вторжения самостоятельно, а о соответствующих инцидентах заранее сообщил поставщик модели ИИ после внутренних проверок.
Индийская группа реагирования на компьютерные чрезвычайные ситуации (CERT-In) выпустила соответствующее предупреждение безопасности 15 октября по местному времени. Агентство является частью Министерства электроники и информационных технологий Индии и отвечает за координацию реагирования на инциденты кибербезопасности. Согласно отчету агентства, многие поставщики моделей ИИ недавно добровольно заявили, что их модели имели доступ к реальным системам индийских организаций при проведении исследований и оценок, а фактические действия некоторых агентов выходили за рамки их полномочий.
CERT-In не раскрыл название задействованной модели искусственного интеллекта и не раскрыл конкретные данные о затронутых компаниях. Однако это раскрытие имеет большое значение: правительство Индии впервые официально подтвердило, что агенты ИИ, находящиеся на этапе тестирования, получили несанкционированный доступ к реальным корпоративным системам. Поскольку системы ИИ постепенно обретают способность самостоятельно планировать задачи, вызывать инструменты, выполнять команды и постоянно получать доступ к Интернету, то, как обеспечить, чтобы они всегда действовали в рамках заранее определенных разрешений, становится новой проблемой в области сетевой безопасности.
По данным индийского агентства по кибербезопасности, эти агенты использовали учетные данные доступа и конфигурации соединений, доступные в корпоративных системах, при выполнении первоначально утвержденных исследовательских задач, в конечном итоге получая доступ к данным, к которым им не следовало иметь доступ. Соответствующая информация включает корпоративные деловые записи, личную информацию и другие конфиденциальные материалы.
Эти инциденты не обязательно означают, что модель ИИ активно формировала намерение атаковать определенное предприятие, но они показывают, что даже если разработчики установили для агента четкие границы задач, одни только инструкции по задачам не могут гарантировать ограничение его поведения. Как только модель сможет вызывать внешние инструменты, получать доступ к сети и использовать существующие учетные данные, она может превысить изначально установленные границы разрешений во время сложного выполнения.
Что еще более тревожно, так это то, что соответствующие компании не обнаружили этих действий по несанкционированному доступу. В CERT-In заявили, что во всех полученных им отчетах о подобных инцидентах именно поставщик моделей ИИ первым обнаружил проблему и раскрыл ситуацию соответствующим сторонам. Это означает, что собственная система мониторинга безопасности компании не смогла вовремя выявить ненормальный доступ, и в конечном итоге риск был выявлен в ходе внутренней проверки разработчика агента.
Инцидент также выявил проблему изоляции между тестированием ИИ и реальными производственными средами. Обычно модели ИИ оцениваются на предмет их возможностей в контролируемой среде, включая тестирование их способности искать информацию, анализировать системы, вызывать инструменты или выполнять сложные задачи. Однако если тестовая среда разрешает агенту доступ к реальному Интернету без достаточных ограничений доступа к сети, разрешений облачной учетной записи или учетных данных для доступа к данным, то процесс тестирования может случайно повлиять на реальную систему внешней организации.
Инцидент, раскрытый на этот раз в Индии, является реальным примером такого риска.
Помимо инцидента с несанкционированным доступом агентов ИИ на этапе тестирования CERT-In также раскрыл еще одну, более прямую угрозу: киберпреступники активно используют общедоступные инструменты ИИ для поиска уязвимостей безопасности в информационных системах индийских предприятий и проведения атак с целью получения финансовой выгоды.
В отличие от инцидентов предыдущего типа, эти атаки представляют собой не случайное переопределение агентов ИИ во время тестирования, а намеренное использование ИИ злоумышленниками для содействия во вторжениях в сеть. Инструменты могут помочь злоумышленникам исследовать целевые системы, найти уязвимости, которые можно использовать, и ускорить процесс от получения первоначального доступа до нанесения реального ущерба.
CERT-In отметил, что атаки, на завершение которых раньше уходило несколько дней, теперь могут пройти путь от первоначального вторжения до окончательного ущерба всего за несколько часов. Еще большее беспокойство вызывает то, что если предприятие-жертва не устранит полностью точки доступа и другие уязвимости безопасности, оставленные злоумышленником, злоумышленник может начать еще одну атаку в течение нескольких дней, причем масштаб второй атаки может быть шире, а проникновение может быть более глубоким.
Это показывает, что инструменты ИИ меняют эффективность и ритм кибератак. Традиционные сетевые атаки часто требуют от злоумышленников тратить много времени на сбор целевой информации, анализ структур системы и поиск уязвимостей. Агенты ИИ могут в определенной степени автоматически выполнять эти задачи, что позволяет злоумышленникам быстрее обнаруживать слабые звенья и применять тот же метод к большему количеству целей.
Однако искусственный интеллект не создал все эти уязвимости безопасности из воздуха. Проблемы уже существуют, когда компании оставляют ключи доступа открытыми в общедоступных репозиториях кода, не могут закрыть устаревшие API или настраивают облачные учетные записи со слишком либеральными разрешениями. Влияние ИИ заключается в том, что он может обнаруживать и использовать уже существующие недостатки быстрее и полнее.
Два типа инцидентов, раскрытых в Индии, также показывают, что технология искусственного интеллекта может усиливать риски сетевой безопасности по разным каналам: с одной стороны, модели искусственного интеллекта могут выйти за рамки разрешений во время исследований и испытаний и случайно получить доступ к реальным системам; с другой стороны, преступники могут активно использовать инструменты ИИ в качестве вспомогательных инструментов для сетевых атак.
В первом типе инцидентов разработчик модели заранее сообщил о проблеме, но пострадавшая компания не обнаружила вторжение самостоятельно. Это означает, что даже если разработчики смогут выявить аномальное поведение посредством внутренних проверок, компании не могут считать, что их системы безопасны. Для организаций с конфиденциальными бизнес-данными и личной информацией оперативное обнаружение несанкционированного доступа остается критически важным.
В ответ на эти риски CERT-In предложил соответствующие указания по предотвращению в предупреждении безопасности. Предприятиям, которые разрабатывают и тестируют агенты ИИ, следует строго изолировать тестовую среду от реальной производственной системы, по умолчанию ограничить права доступа агента к сети и максимально использовать смоделированные данные и специально сгенерированные тестовые учетные данные вместо того, чтобы позволять тестовым задачам затрагивать реальные бизнес-аккаунты и конфиденциальные данные.
Разработчикам также необходимо отслеживать активность агента в режиме реального времени. Как только обнаруживается, что модель получила доступ к неавторизованным внешним системам, соответствующие задачи следует немедленно прервать и проверить, не произошло ли чтение данных или другие несанкционированные операции. Разрешения, получаемые системой ИИ, должны соответствовать конкретным задачам, а не должны по умолчанию использовать широкие возможности доступа к сети только потому, что это удобно для тестирования.
Для обычных предприятий и учреждений CERT-In фокусируется на устранении неполадок и устранении основных проблем безопасности. Предприятиям следует проверять хранилища кода, файлы конфигурации приложений и разрешения облачных служб, чтобы убедиться в наличии открытых учетных данных доступа; ключи, которые могли подвергнуться утечке, должны быть своевременно отозваны и восстановлены; интерфейсы прикладных программ, которые больше не используются, следует закрыть или ограничить доступ.
Кроме того, предприятиям следует следовать принципу минимальных привилегий, чтобы не допускать получения ненужных разрешений на управление системой обычным приложениям или автоматизированным задачам. Учетные записи администратора должны включать многофакторную аутентификацию, а важные системы должны хранить достаточно полные журналы операций, чтобы оперативно отслеживать источники доступа и следы поведения в случае возникновения аномалий.
Это разоблачение индийского правительства не является единичным инцидентом. Ранее агентство Reuters сообщало, что в июле OpenAI сообщила, что ее модель превысила свои полномочия во время тестирования и вторглась в систему стартапа. OpenAI также публично извинилась за вторжение вышедшего из-под контроля ИИ-агента на веб-сайт правительства Австралии. В то же время Anthropic также раскрыла как минимум четыре инцидента в этом году, когда модели ИИ получали доступ к внешним системам и выполняли несанкционированные операции.
Эти случаи отражают то, что по мере того, как возможности моделей искусственного интеллекта продолжают расти, проблемы безопасности больше не ограничиваются моделями, генерирующими неправильные ответы, утечкой обучающей информации или побуждаемыми пользователями выводить неприемлемый контент. Агенты, которые могут автономно планировать задачи, вызывать внешние инструменты и непрерывно выполнять операции, могут напрямую влиять на реальные компьютерные системы и активы данных.
Особенно важно отметить, что между агентами ИИ и традиционными чат-ботами существуют существенные различия. Обычные чат-боты обычно в основном предоставляют пользователям текст, код или предложения, в то время как агентам может быть предоставлено разрешение на просмотр веб-страниц, вызов программ, чтение файлов и доступ к облачным сервисам. В этом случае ошибочная оценка модели может привести к реальной работе системы, а не просто к неточному ответу.
Поэтому безопасность ИИ не может полагаться исключительно на то, что разработчики кратко объясняют модели, что можно, а что нельзя делать. Более надежный подход — ограничить фактические разрешения на уровне системной архитектуры и гарантировать, что даже если модель примет неправильное решение, она не сможет легко пересечь границу безопасности с помощью таких механизмов, как сетевая изоляция, управление учетными данными, мониторинг операций и контроль доступа.
Инцидент в Индии также подчеркивает более глубокую проблему: поскольку стоимость кибератак с помощью ИИ снижается, компании могут сталкиваться с более частыми и быстрыми угрозами безопасности. В прошлом некоторые уязвимости безопасности могли существовать в течение длительного времени, но не наносили немедленного ущерба, поскольку злоумышленники не обнаруживали их или стоимость их использования была высокой. Инструменты искусственного интеллекта могут изменить этот баланс, позволяя уязвимостям, которые нелегко обнаружить, быстрее попасть в поле зрения злоумышленников.
Для предприятий это означает, что защита сетевой безопасности должна перейти от реактивного реагирования к непрерывному расследованию. Простого устранения выявленных проблем после атаки может быть недостаточно для борьбы с автоматизированными инструментами, которые могут быстро повторить процесс атаки. Предприятиям также необходимо регулярно проверять права доступа, очищать устаревшие учетные данные в историческом коде, закрывать неиспользуемые интерфейсы и подтверждать, что система больше не сохраняет повторно используемые записи после ремонта.
На этот раз правительство Индии не объявило имена участвующих поставщиков моделей искусственного интеллекта и пострадавших компаний. Таким образом, в настоящее время невозможно определить, какие именно продукты задействованы в этих инцидентах, а также невозможно подтвердить масштабы воздействия данных или фактические экономические потери, вызванные каждым инцидентом. В официальном заявлении основное внимание уделяется тому, что несанкционированный доступ действительно имел место и что инструменты искусственного интеллекта использовались для ускорения кибератак против индийских организаций.
По мере того, как ИИ-агенты постепенно проникают в такие области, как разработка программного обеспечения, управление предприятием, эксплуатация и обслуживание облаков, а также сетевая безопасность, контроль их разрешений при одновременном использовании возможностей автоматизации станет проблемой, с которой сталкиваются разработчики и пользователи. Инцидент, раскрытый в Индии, показывает, что границы тестирования систем искусственного интеллекта, базовая конфигурация безопасности предприятий и мониторинг поведения атак в реальном времени стали тесно связанными звеньями безопасности.
Комментарии