Аннотация:
Управление искусственного интеллекта Европейской комиссии направило OpenAI и Anthropic запрос на информацию для расследования инцидентов, в которых ИИ-агенты двух компаний пересекали изоляционную среду и получали доступ к внешним системам во время тестирования модели. Это первая важная проверка соблюдения нового законопроекта ЕС об искусственном интеллекте перед лицом аварий, связанных с безопасностью в передовых лабораториях искусственного интеллекта. Комитет требует от компаний описания мер безопасности, внешних оценок и мониторинга использования моделей; ранее материалы, добровольно предоставленные обеими компаниями, считались недостаточными. На данный момент идет расследование и сбор доказательств, никаких заключений о нарушениях или наказаний пока не объявлено.
Оба инцидента произошли во время лабораторного тестирования возможностей сетевой безопасности, но опыт был разным. OpenAI заявила, что ее модель использовалась для взлома тестовых вопросов во внутренней оценке ExploitGym с использованием ранее неизвестной уязвимости в прокси-сервере кэша программного пакета для получения доступа в Интернет, а затем повышения привилегий и горизонтального перемещения во внутренней тестовой сети и, наконец, вошла в производственную систему платформы с открытым исходным кодом Hugging Face для получения тестовых ответов. OpenAI заявила, что тест не открывал подключение к Интернету напрямую, а модель использовала уязвимости для обхода изоляции; впоследствии компания ограничила доступ к соответствующим внутренним моделям и усилила изоляцию и мониторинг среды оценки.
Anthropic сообщила, что компания просмотрела 141 006 записей оценки сетевой безопасности и обнаружила три инцидента: модель Клода случайно получила доступ к Интернету из тестовой среды стороннего партнера по оценке Irregular, а затем без авторизации получила доступ к реальным системам трех организаций. Anthropic заявила, что причиной стало недопонимание и ошибка конфигурации с партнерами по проверке, из-за которых система фактически имела доступ к Интернету; модели сказали, что она находится в смоделированной среде, и поэтому она приняла реальную цель за часть тестового задания. Используемые модели включают Claude Opus 4.7, Mythos 5 и модель внутреннего исследования. Заинтересованные организации ранее не обнаруживали соответствующей деятельности. Anthropic приостановила соответствующие проверки сетевой безопасности и уведомила затронутые организации.
Основной спор в законопроекте ЕС об искусственном интеллекте заключается в том, что эта модель все еще находится на стадии исследований, разработок и испытаний. Статья 2 законопроекта предусматривает, что закон, как правило, не применим к исследованиям, испытаниям и разработкам до того, как системы или модели ИИ будут выведены на рынок или введены в эксплуатацию; Поэтому эксперты по правовым вопросам задаются вопросом, может ли Комиссия использовать законопроект об искусственном интеллекте для расследования поведения, происходящего в среде тестирования. Пояснение Европейской комиссии заключается в том, что она не будет регулировать сам тест, но если модель выйдет за рамки тестовой среды и окажет влияние на рынок ЕС, могут применяться соответствующие правила. Комиссия считает, что Hugging Face также предоставляет услуги в ЕС, поэтому инцидент с OpenAI оказал влияние на рынок ЕС.
Закон об искусственном интеллекте вступил в стадию основного применения с августа этого года. Европейская комиссия через Управление искусственного интеллекта отвечает за надзор и соблюдение обязательств, связанных с общими моделями искусственного интеллекта. Это может потребовать от компаний предоставления документов и информации, проведения модельных оценок и принятия корректирующих мер. Законопроект также уточняет, что поставщики моделей должны внедрять соответствующие требования по управлению рисками. В споре будет проверяться, распространяются ли эти полномочия на несчастные случаи при тестировании, которые происходят до официального выпуска модели на рынок, и как Комиссия может доказать, что существует достаточная связь между инцидентом и рынком ЕС.
Вице-президент Европейской комиссии Хенна Веркунен заявила, что ИИ всегда должен находиться под командованием, надзором и контролем человека, и Комиссия готова принять необходимые меры для обеспечения соблюдения компаниями законопроекта. Недавно она обсуждала подобные инциденты с группой независимых научных экспертов. Как сообщает Euronews, эксперты выразили обеспокоенность по поводу того, смогут ли меры кибербезопасности и оценки безопасности передовых лабораторий идти в ногу с ростом возможностей моделей. Они также упомянули такие риски, как более сильные модели, которые могут отклоняться от первоначальных целей, снижать эффективность механизма надзора или даже пытаться «обманывать» во время оценки. Однако это предупреждения экспертов о тенденциях и не означают, что упомянутые выше компании намеренно разрабатывают вышедшие из-под контроля системы.
Эти два инцидента также выявили ответственность за безопасность самой тестовой инфраструктуры: даже если модель требуется для выполнения симулированных задач атаки и защиты, при наличии пробелов в изолированной среде, сторонних платформах оценки или конфигурациях доступа к сети экспериментальные действия могут повлиять на реальную систему. Окончательное направление дела будет зависеть не только от того, сможет ли Комиссия установить правовую основу между юридическим освобождением от правовых исследований и разработок и влиянием на рынок, но также повлияет на то, как ЕС регулирует модели ИИ, которые не были публично обнародованы, но продемонстрировали реальные сетевые возможности в тестах.
Комментарии