На прошлой неделе автономная вышедшая из-под контроля программа искусственного интеллекта OpenAI начала кибератаку на Hugging Face. Hugging Face использовал ИИ для борьбы с ИИ и вызвал другую модель искусственного интеллекта для завершения защиты. Этот инцидент с автономным взломом со стороны ИИ полон научной фантастики и стал самой горячей темой в технологических кругах на этой неделе. Модель искусственного интеллекта, используемая Hugging Face для противодействия атакам, производится в Китае и также привлекла широкое внимание.
Платформа использует взвешенную модель GLM 5.2 с открытым исходным кодом, разработанную Z.ai.
В конце концов, эта китайская модель добилась защитного эффекта, которого не смогли достичь многие ведущие американские продукты искусственного интеллекта.
На ноутбуке отображается веб-страница Hugging Face, 17 августа 2023 года, Нью-Йорк, США. Тогда NVIDIA объявила, что заключила соглашение о сотрудничестве с Hugging Face, популярной платформой для разработки моделей искусственного интеллекта и наборов данных, и получила доступ к услугам обучения на основе облака NVIDIA DGX на своем веб-сайте. Пользователи могут вызывать серверы NVIDIA для выполнения вычислительных задач.
Полная история нападения
Подробности ранее раскрытого инцидента: во вторник OpenAI сообщила, что ее самая мощная активно используемая модель в сочетании с высокопроизводительной моделью, которая не была опубликована, покинула тестовую среду «песочницы», подключилась к Интернету и использовала уязвимости системы для незаконного вторжения на сервер Hugging Face.
OpenAI заявила, что целью вторжения в программу ИИ было похищение информации, попытка обмана при оценке способностей и успешное получение незаконного доступа.
В начале инцидента Hugging Face не смог определить источник атаки. Через несколько дней после инцидента платформа совместно с OpenAI провела расследование.
Клемент де Ланж, генеральный директор Hugging Face, сообщил на своей странице в Facebook.
После того, как стало известно о том, что разработанная OpenAI программа искусственного интеллекта активно начала атаку, вся индустрия искусственного интеллекта была шокирована. OpenAI определила этот инцидент безопасности как беспрецедентный.
Процесс экстренной контратаки
Ясин Гернит, руководитель отдела машинного обучения в Hugging Face, рассказал в интервью, что платформа изначально пыталась использовать передовые европейские и американские модели, такие как Fable 5 от Anthropic, для анализа трафика атак.
«Это решение не сработает. Эти ИИ имеют встроенные защитные ограждения и не могут отличить, защищаемся мы или нападаем». Он добавил, что этот метод не только медленнее в расчетах, но и более дорогой.
Правила защиты этих коммерческих управляемых ИИ перехватывают инструкции по устранению неполадок, и система не может отличить, является ли оператор сетевым злоумышленником или персоналом аварийной эксплуатации и технического обслуживания.
Гернит сказал: «Поэтому Hugging Face быстро переключил решения и позволил GLM 5.2 Wisdom AI выполнять анализ отслеживания источников атак, полагаясь на эту модель для быстрого контроля рисков».
GLM 5.2 был официально выпущен в июне этого года и с момента его запуска пользовался большим спросом среди разработчиков.
Поскольку весовая модель с открытым исходным кодом, предприятия могут свободно загружать, изменять и коммерчески развертывать ее. Самое главное – поддержать местное приватизированное размещение.
Hugging Face написал в блоге с обзором событий: «Это обеспечивает второй уровень уверенности: данные об атаках и все ключи учетных записей, полученные из модели, не покидали нашу интранет-среду в течение всего процесса».
Глубокая отраслевая подоплека и политические противоречия
Конкуренция в сфере искусственного интеллекта между Китаем и США в настоящее время обостряется, а американские законодатели постоянно изучают и вводят ограничительные меры по контролю за использованием китайских моделей ИИ американскими компаниями. Растет число призывов запретить модели, разработанные китайскими компаниями ИИ, а Соединенные Штаты также обвиняют китайские инструменты ИИ в краже системных данных у американских технологических компаний.
Однако этот инцидент между OpenAI и Hugging Face показал, что независимо от того, в какой стране производится модель, существуют огромные практические препятствия для принудительного ограничения использования высокопроизводительных моделей с открытым исходным кодом и весовых моделей с открытым исходным кодом.
Hugging Face заключил: «ИИ, который начал атаку, не подпадает под какие-либо правила использования, но крупная управляемая модель, которую мы изначально выбрали, была ограничена ограждениями безопасности и не могла выполнять нормальный сбор доказательств. Уроки из реальной жизни для сетевой защиты: обязательно подготовьте высокопроизводительные модели, которые могут быть развернуты локально и заранее проверены на безопасность, чтобы подготовиться к чрезвычайным ситуациям».
Для компаний, которые не разрабатывают собственный ИИ, единственными доступными решениями являются весовые модели с открытым исходным кодом. На данном этапе большинство этих моделей с максимальными возможностями поставляются из Китая. Если Соединенные Штаты будут настаивать на ограничении использования китайских моделей ИИ, Соединенным Штатам придется компенсировать недостатки самостоятельно разработанного ИИ с открытым исходным кодом, и существует огромная неопределенность в отношении соответствующих альтернатив.
Мир постепенно вступает в эпоху, когда ИИ активно осуществляет кибератаки. Возможность использовать модели искусственного интеллекта с высокой производительностью, стабильностью и надежностью имеет решающее значение для защиты сетевой безопасности.