Недавно Hugging Face, крупнейшее в мире сообщество разработчиков искусственного интеллекта с открытым исходным кодом, сообщило, что оно обнаружило и сдержало вторжение ИИ в производственную инфраструктуру, и они использовали судебно-медицинский анализ ИИ для защиты от него. В конце концов, успешно завершить защиту ей помогла не передовая американская модель коммерческого API, а китайская модель GLM 5.2 с открытым исходным кодом.

После инцидента компания публично посоветовала защитникам «иметь проверенную и легкодоступную модель, которая будет работать в вашей собственной инфраструктуре до того, как произойдет атака»), чтобы не попасть в ловушку ограждений и не допустить выхода данных и учетных данных злоумышленника за пределы вашей среды.

Hugging Face был «взломан», чистый ИИ-агент самостоятельно атаковал

В малоподробном отчете об инциденте от 16 июля компания Hugging Face сообщила, что ее производственная инфраструктура была скомпрометирована «автономной» системой агентов искусственного интеллекта в течение недели с 13 июля. Неизвестный злоумышленник «злоупотребил двумя путями выполнения кода в конвейере обработки набора данных Hugging Face: удаленным загрузчиком набора данных кода и внедрением шаблона в конфигурацию набора данных для запуска кода на рабочих узлах обработки (т. е. вычислительных экземплярах)».


Затем на выходных они «повысили доступ до уровня узла, собрали учетные данные облака и кластера и в течение выходных переместились на несколько локальных кластеров. Злоумышленники использовали «несколько недолговечных песочниц и разместили «самомиграционное» управление и контроль (C2) на общедоступных сервисах», — заявили в компании.

Несанкционированный доступ затронул небольшое количество внутренних наборов данных и учетных данных службы, но Hugging Face не обнаружила никаких доказательств вмешательства в общедоступные модели, наборы данных, пространства или цепочку поставок программного обеспечения, а ее цепочка поставок (образы контейнеров и опубликованные пакеты) была «подтверждена как чистая».

Hugging Face сообщил клиентам: «Мы рекомендуем менять токены доступа и просматривать недавнюю активность в вашей учетной записи». Компания заявила, что «все еще завершает оценку того, были ли затронуты данные партнеров или клиентов» и свяжется напрямую с пострадавшими клиентами, если будут обнаружены доказательства.

Уникальностью этой операции была ее автономность и масштаб. Вторжение от начала до конца было организовано системой автономных агентов ИИ, которые выполняли тысячи независимых операций в большом количестве недолговечных «песочниц», используя самоперемещающуюся инфраструктуру управления и контроля, которая была связана с государственными службами, а Hugging Face также в основном использовала собственный ИИ для обнаружения и профилирования.

В отчете компании говорится, что структура автономного агента, которая запустила атаку, по-видимому, построена на основе набора инструментов для исследования безопасности агентов, а используемый LLM еще не ясен, что согласуется с долгосрочным прогнозом отрасли по сценарию «агент-злоумышленник».

В то же время этот инцидент также отражает более широкую отраслевую тенденцию: автономные наступательные инструменты искусственного интеллекта перешли от теории к практике, что снижает затраты на проведение крупномасштабных, терпеливых, многоэтапных атак и работает со скоростью, подобной машине.

Недавно охранная фирма Sysdig раскрыла случай, который она назвала «JADEPUFFER», описанный как первая полностью автономная операция программы-вымогателя, управляемая искусственным интеллектом, в которой агент искусственного интеллекта независимо скомпрометировал сервер, доступный в Интернет, переместил его в горизонтальное положение, зашифровал файлы и выдал требование выкупа, и все это без участия человека.

Сообщается, что Национальный центр кибербезопасности Великобритании запустил в ответ программу «Киберщит» для развертывания средств защиты на основе искусственного интеллекта по всей стране.

Американская пограничная коммерческая модель «Strike», GLM-5.2 отправляется в бой на ответный удар

«Когда мы начали анализ журналов, мы сначала использовали передовую модель коммерческого API. Это не увенчалось успехом: анализ потребовал подачи большого количества реальных команд атаки, использования полезных данных и артефактов C2, и эти запросы были заблокированы средствами безопасности провайдера», — подчеркнул Hugging Face в отчете.

Понятно, что собственный конвейер обнаружения аномалий Hugging Face использовал безопасную классификацию телеметрии, основанную на больших языковых моделях, чтобы сначала сигнализировать о вторжении путем сопоставления сигналов, которые в противном случае были бы проигнорированы в повседневном шуме. Чтобы восстановить полную временную шкалу атаки на основе более чем 17 000 записанных действий злоумышленников, Hugging Face запустила большой агент анализа на основе языковой модели для всего журнала, сжимая то, что обычно занимает дни, в часы.

Ключевой вывод расследования: API-интерфейсы коммерческих моделей Frontier отказались проводить судебно-медицинский анализ, поскольку их меры безопасности не смогли отличить лиц, реагирующих на инциденты и предоставляющих реальные полезные данные эксплойтов и артефакты C2, от реальных злоумышленников. Hugging Face заявила, что затем «перешла на использование GLM 5.2, модели с открытым весом, в собственной инфраструктуре для судебно-медицинской экспертизы». Hugging Face добавил: «Это также имеет дополнительное преимущество: ни данные злоумышленника, ни какие-либо учетные данные, указанные в них, не покидают нашу среду…»

На данный момент Hugging Face не уточнила, какую модель бизнес-форварда она пытается использовать для реагирования на инциденты в своей первой попытке, а также не уточнила, какую модель использовали злоумышленники.

Но этот опыт заставил Hugging Face осознать уязвимость, которую стоит планировать заранее: «Мы понятия не имели, какую модель использовал агент злоумышленника: взломанную размещенную модель или модель с неограниченным открытым весом; в любом случае злоумышленник не был связан какой-либо политикой использования, и наши собственные криминалистические усилия были заблокированы мерами безопасности размещенной модели, которую мы первоначально пытались использовать».

В заключение они заявили: «Практический урок для защитников заключается в следующем: наличие проверенной и легкодоступной модели, работающей в вашей собственной инфраструктуре до того, как произойдет инцидент, позволяет избежать блокировки ограждениями и предотвратить выход данных и учетных данных злоумышленника за пределы вашей среды. Это не является возражением против мер безопасности в управляемых моделях, и мы поделимся этим отзывом с соответствующими поставщиками».

Стоит отметить, что Hugging Face официально объявила в июне этого года, что предоставит до 6 часов глобальной бесплатной поддержки вычислительной мощности для GLM-5.2, флагманской модели GLM-5.2 с открытым исходным кодом, за свой счет.

Советник Белого дома по искусственному интеллекту обеспокоен: «Мы больше не будем конкурентоспособны»

"Нет причин ограничивать американские модели задачами, с которыми китайские модели могут справиться без проблем. Поступая таким образом, мы только сделаем себя менее конкурентоспособными". 19 июля Дэвид Сакс, специальный советник Белого дома по искусственному интеллекту и криптовалютам, опубликовал пост с критикой ограничений кибербезопасности для американских моделей искусственного интеллекта.


Ранее отдельные разработчики публично заявляли, что Kimi K3 устранил 15 уязвимостей безопасности, в то время как Codex OpenAI и Claude Fable 5 от Anthropic отказались устранять эти уязвимости из-за мер защиты сети. «В конечном итоге это будет катастрофой для OpenAI и Anthropic», — сказал он. Сакс ретвитнул пост разработчика и упомянул инцидент с Hugging Face.

Некоторые пользователи сети прокомментировали это: «Теперь пользователи, которые используют только большие американские модели, более уязвимы для атак, потому что они не могут решить свои собственные проблемы с безопасностью».

Понятно, что Anthropic четко классифицирует тестирование на проникновение, вознаграждение за обнаружение ошибок, разработку эксплойтов, повышение привилегий и обнаружение ценных уязвимостей как высокорискованную деятельность двойного назначения. Fable 5 предназначена для блокировки этих запросов до тех пор, пока у Anthropic не появится более надежный способ ограничить доступ только одобренным исследователям. И Anthropic признал цену. Anthropic заявила, что при повторном развертывании Fable 5 1 июля ее обновленный классификатор будет выдавать больше ложных срабатываний во время обычного кодирования и отладки, а помеченные запросы Fable могут быть перенаправлены на менее функциональные модели Opus 4.8 в зависимости от продукта и конфигурации.

OpenAI также применяет дополнительные автоматические проверки к запросам сетевой безопасности в Codex, ChatGPT и его API. OpenAI рекомендует защитникам, чей запрос заблокирован, сузить область действия, сделать упор на исправление ситуации и опустить детали эксплойта, которые не необходимы для защитного результата. OpenAI также предлагает Codex Security отдельно для сканирования базы кода, проверки эксплойтов в песочницах и создания исправлений.

«Когда крупные американские модели отклоняют задачи, классифицированные как высокорисковые, разработчики могут обратиться к китайским открытым моделям». Этот урок и сигнал атаки Hugging Face привлекли внимание специалистов по информационной безопасности и инвесторов в технологии. Некоторые пользователи сети гневно заявили: «Это своего рода «сетевая безопасность», которая ставит телегу впереди лошади: злоумышленники могут использовать неограниченные модели, но защитники (которые и так медленно реагируют) не могут анализировать саму атаку».