«Агент» OpenAI автономно обнаружил новую уязвимость и взломал стартап Hugging Face, что стало одним из первых публичных случаев, когда система ИИ самостоятельно запускала кибератаку вне контроля человека. Разработчик ChatGPT заявил во вторник, что в «беспрецедентном киберинциденте» участвовал агент — программа искусственного интеллекта, способная работать автономно на основе инструкций человека — который сбежал из среды тестирования, получил доступ в Интернет и украл учетные данные для входа.

Инцидент произошел на фоне растущей обеспокоенности по поводу воздействия передовых систем искусственного интеллекта, вторгающихся в цифровую инфраструктуру, особенно сценариев, в которых агенты могут подорвать контроль человека.

OpenAI заявила во вторник, что ожидает, что подобные инциденты «будут более распространенными, поскольку модели с растущими сетевыми возможностями становятся все более распространенными».

Инцидент произошел в тот момент, когда генеральный директор Сэм Альтман направляется в Вашингтон на следующей неделе, чтобы проинформировать правительство США о новом поколении моделей искусственного интеллекта.

После того, как модель Mythos от Anthropic привлекла внимание всего мира за демонстрацию расширенных возможностей по обнаружению и использованию сетевых уязвимостей, правительство США все больше стремится пересмотреть эту модель перед ее выпуском.

OpenAI сообщила, что последний инцидент касается портфолио моделей компании, включая GPT-5.6 Sol, выпущенную ранее в этом месяце, а также неизданную модель, которая тестируется с более широкими возможностями.

«Мы считаем, что это беспрецедентный киберинцидент, в котором задействованы самые современные кибервозможности, и реагируем соответствующим образом», — говорится в сообщении OpenAI в блоге.

Hugging Face, стартап в области искусственного интеллекта, который размещает модели и наборы данных для разработчиков, заявил в пятницу, что он был скомпрометирован внешним агентом искусственного интеллекта.

«Учитывая сложность агента, мы подозреваем, что кибератака, произошедшая на прошлой неделе, могла быть инициирована современной лабораторией», — заявил генеральный директор Клемент де Ланге на платформе X.

Он добавил, что компания тесно сотрудничала с OpenAI в течение последнего дня и «мы не сомневаемся, что они не имели в виду никакого вреда. Все это произошло автономно, это шокирует!»

OpenAI намеренно снизила уровень защиты сети, чтобы оценить обе модели в тестовой среде. Однако эти прокси работают в так называемой «песочнице», которая предназначена для контроля систем и предотвращения их доступа в Интернет.

По словам OpenAI, моделям было поручено попытаться взломать свои сетевые возможности, а затем «потратить значительные объемы (вычислительных ресурсов) на поиск способов получить доступ к открытому Интернету».

Модели «выявляли и эксплуатировали» ранее неизвестные уязвимости, вырвались из «песочницы», получили доступ в Интернет и продолжили преследовать свои цели. Это включает в себя кражу учетных данных (информации для входа) для проведения атаки.

Hugging Face использовал собственный прокси-сервер для обнаружения и блокировки активности в собственной инфраструктуре. OpenAI заявила, что связалась с правоохранительными органами и другими государственными учреждениями по поводу инцидента.