Аннотация:
OpenAI не выяснила, сколько проблем доставил ее собственный агент.
В минувшие выходные стало известно о ряде случаев, связанных с правительственными веб-сайтами: агенты OpenAI использовали учетные данные для входа, найденные в Интернете, для извлечения данных Бюро переписи населения США и размещали общедоступную информацию от Комиссии по ценным бумагам и биржам США на форумах. Исследователи также отметили, что агент, предположительно из OpenAI, пытался взломать сайт Министерства образования США, но безуспешно.
Платформа данных Организации Объединенных Наций также фигурирует в недавно раскрытых записях. 26 сентября независимые исследователи объявили о расследовании: подозреваемый агент OpenAI просканировал интерфейс данных Конференции ООН по торговле и развитию более 16 000 раз с апреля по июнь этого года и нашел способ обойти ограничения доступа.
Помимо уже выявленных случаев, еще предстоит расследовать большое количество случаев ненормального поведения. По данным Axios со ссылкой на источники, OpenAI, Anthropic и исследователи безопасности расследуют десятки тысяч ненормального поведения моделей, включая попытки взлома во внутренних тестах и действия, затрагивающие реальные внешние веб-сайты.
OpenAI уведомила десятки пострадавших учреждений, и проверка исторической деятельности продолжается. Генеральный директор OpenAI Сэм Альтман признал, что раскрытие информации происходит не так быстро, как надеялась компания, и что необходимо обработать петабайты журналов активности агентов.
То, что произошло несколько месяцев назад, до сих пор выясняется одно за другим.
01Что делал агент на правительственном сайте
Ситуация между тремя федеральными агентствами США не одинакова.
По данным New York Times, исследователи Transluce полагают, что агент, предположительно выходец из OpenAI, пытался взломать сайт Министерства образования США и получить данные из Управления по гражданским правам, но попытка не удалась. OpenAI заявила, что все еще расследует это дело; Представитель Министерства образования сообщил, что проверка системы не выявила никаких нарушений веб-сайтов или баз данных.
Агенты Бюро переписи населения, входящего в состав Министерства торговли, извлекли данные, используя учетные данные для входа, найденные в Интернете. В Минторге ответили, что модель получила общедоступную информацию, которую может получить любой желающий на сайте, и не получила личные данные.
Дело SEC предполагает другой тип поведения: агент читает общедоступную информацию, а затем публикует ее на онлайн-форуме. В агентстве заявили, что к какой-либо закрытой информации не было доступа, и оно находится в контакте с OpenAI.
OpenAI заявила, что вышеупомянутые инциденты с участием трех федеральных агентств США не являются вторжением, а являются неожиданным и тревожным поведением.
The New York Times заявила, что эти инциденты, связанные с учреждениями США, были обнаружены OpenAI при проверке предыдущей деятельности агентов. Внутреннее расследование, инициированное инцидентом Hugging Face, впоследствии выявило другие проблемы с доступом к австралийскому веб-сайту, а также сокрытие ошибок, фабрикацию данных и загрузку файлов в общедоступную сеть без разрешения.
Для этих американских агентств OpenAI отправляла уведомления после проверки, а не предупреждения при посещении агентами веб-сайта.
В OpenAI заявили, что этот раунд проверки охватывает сетевую деятельность модели на этапах обучения и оценки и будет отдавать приоритет более серьезным инцидентам. К третьим лицам, которые были уведомлены, относятся организации, в которых средства контроля безопасности могут быть обойдены, доступность услуг может быть нарушена, а веб-сайт может быть иным образом негативно затронут. В публичных сводках компаний имена и идентифицирующая информация часто редактируются, а организации, получающие уведомления, могут по своему усмотрению раскрыть собственную информацию.
Австралийское расследование связано с раскрытым нарушением полномочий. 18 июня агент OpenAI, выполнявший исследовательскую задачу по государственным расходам на лекарства, вошел на портал статистической службы Medicare, управляемый Services Australia, и получил публичные и закрытые документы.
Местные власти заявили, что доступ к личной информации Medicare не осуществлялся. Соответствующий портал предоставляет сводную статистику по медицинским товарам, но не является полноценной системой медицинского страхования, которая управляет записями о личном медицинском лечении и возмещении расходов.
Между этим визитом и внешним уведомлением прошло почти три месяца.
Правительство Австралии получило уведомление, отправленное OpenAI, в общественный почтовый ящик только 10 сентября и впоследствии начало расследование. Местные разногласия касаются не только того, к чему обращалась модель, но и того, почему OpenAI так долго уведомляла.Согласно отчету ABC, Австралия заявила, что закрытые документы в то время не были опубликованы, но не представляли собой особо конфиденциальную информацию и с тех пор были обнародованы. Электронное уведомление с уведомлением было просмотрено Службой Австралии 11 сентября и отправлено в Австралийское бюро связи только 15 сентября.
Впоследствии правительство Австралии организовало межведомственное расследование, чтобы выяснить не только то, что произошло на сайте, но и то, как были обработаны уведомления. Расследование также оценит, был ли доступ законным и с какими еще рисками сталкиваются правительственные системы при взаимодействии с внешним ИИ.
Город Чикаго также был уведомлен. В мэрии сообщили New York Times, что модель OpenAI получила общедоступную информацию на муниципальном веб-сайте и не обнаружила никаких признаков того, что была получена конфиденциальная информация.
Transluce также обнаружила активность, нацеленную на другие веб-сайты федерального правительства и правительства штатов США. Конрад Стош, директор по управлению агентства, сообщил New York Times, что веб-сайты ВМС США и Административно-бюджетного управления Белого дома также фигурируют в записях, но эта деятельность пока не может быть однозначно отнесена к OpenAI и может исходить из других лабораторий. Соответствующие ведомства пока не ответили на запросы, содержащиеся в отчете.
Подсказки к делу ООН пришли извне. Вдохновленный предыдущим исследованием Transluce, независимый исследователь Роуэн Ховард-Джонс дополнительно проанализировал публичные записи и отсортировал ряд запросов на доступ к статистической платформе ЮНКТАД. Основываясь на корреляции между записями запросов и известной активностью агентов, она определила, что эти доступы с высокой вероятностью исходили от агентов OpenAI.
Эти агенты, похоже, ищут данные о торговле и развитии. После того как нормальное получение данных было заблокировано, они пробовали разные методы и обходили ограничения доступа интерфейса.
ЮНКТАД сообщила Wall Street Journal, что никакой конфиденциальной информации не было утечки и статистические услуги не были прерваны, но что критически важные и нейтральные данные могли быть скомпрометированы, что по-прежнему неприемлемо.
Алекс Стамос, преподаватель кибербезопасности в Стэнфордском университете, считает, что этот вид деятельности находится на грани того, что он называет «хакерством», ближе к очень агрессивному сбору данных и извлечению данных.
Представитель OpenAI сообщил Wall Street Journal, что компания изучает результаты и связалась с Организацией Объединенных Наций, чтобы предложить группе, ответственной за проверку, провести брифинг по расследованию.
В своем ответе ЮНКТАД подчеркнула, что помимо того, были ли затронуты данные и услуги, она также обеспокоена тем, почему меры изоляции модели оказались неудачными.
02 Десятки тысяч аномалий различной степени тяжести
Помимо случаев, связанных с веб-сайтами государственных органов, в лаборатории все еще проверяются другие записи.
Десятки тысяч инцидентов, о которых сообщает Axios, включают успешные и неудачные попытки пересечь границу, а также состязательные тесты, в ходе которых исследователи активно создавали препятствия, вызывающие ошибки модели.
На момент публикации отчета о реальном ущербе в большинстве этих инцидентов не было известно, и многие детали остаются нераскрытыми. В отчете не дается полная разбивка по серьезности.Действия, перечисленные Axios, выходят за рамки атак на веб-сайты. Некоторые агенты создают доски объявлений для обмена информацией с другими агентами; некоторые оставляют инструкции для последующих операций или пытаются обойти мониторинг. Следователям также необходимо будет одно за другим подтвердить среду, в которой они выполнялись, полученные ими разрешения и были ли фактически нарушены ограничения.
В отчете New York Times также упоминаются связанные случаи, связанные с Anthropic, Meta и Google, направленными против компаний, университетов и правительственных организаций, но не перечисляются инциденты, связанные с этими тремя компаниями, подробно. В этом раунде отчетов случаи, которые можно восстановить в деталях, по-прежнему в основном исходят от OpenAI.
Состязательный тест Anthropic объединяет цели задач и ограничения разрешений. По данным Axios со ссылкой на системную карту Claude Opus 5.5, в 1,5% тестовых запусков модель пыталась выйти из «песочницы» — изолированной среды, которая ограничивает масштабы деятельности программы. В тесте намеренно поставлено условие: задание невозможно выполнить, не покинув песочницу.
Исследователи использовали это, чтобы наблюдать, как модель выбирает ситуации, когда цели задачи и ограничения разрешений конфликтуют.
1,5 % в этом тесте фиксируют попытки побега, а не долю успешных побегов или количество несчастных случаев при беге за пользователями.
Anthropic также поручает сторонним организациям безопасности проверять поведение модели.Инцидент Hugging Face привел к вторжению во внешние системы. Сотни агентов координировали свою деятельность через доски объявлений, чтобы взломать внешние компании и улучшить результаты тестов сетевой безопасности; Альтман сказал, что это по-прежнему самый серьезный инцидент, обнаруженный компанией на данный момент.
После инцидента с Hugging Face некоторые люди в OpenAI были относительно оптимистичны в отношении последующих рисков. Axios цитирует источники, которые утверждают, что, по их мнению, в испытаниях использовалась невыпущенная модель и условия были относительно особенными; по мере усиления мер контроля последующие раскрытые инциденты могут быть не такими серьезными.
Исследователи в области безопасности, опрошенные Axios, считают, что некоторые базовые исправления действительно могут предотвратить некоторые проблемы, возникшие в то время. Но другие руководители и исследователи ИИ по-прежнему менее уверены в том, что любое ненормальное поведение можно предотвратить.
Они обеспокоены тем, что модель постоянно меняет способы выполнения своих задач, но персоналу защиты сложно заранее перечислить все возможные пути, по которым она может пойти.
Коннер Лихи, исполнительный директор ControlAI, рассказал Axios, что его беспокоит не только ущерб, причиненный одним инцидентом, но и то, что автономные системы совершают действия, которые явно запрещены.
Конрад Стош, руководитель управления Transluce, отметил, что некоторые агенты используют веб-сайт неожиданным образом, иногда нарушая четко прописанную политику использования веб-сайта.
Эксперты, опрошенные Axios, также напомнили, что нет ничего неожиданного в обнаружении определенного количества аномалий в состязательных тестах, активно проводимых лабораториями, и риск не может быть сведен к нулю. Их беспокоит то, что повторяющееся поведение за пределами допустимого диапазона при тестировании может спровоцировать киберинциденты в реальной среде.
Axios также перечислил 53 случая, когда агенты размещали в Интернете фотографии пользователей ChatGPT. Это противоположно тому, как модель запрашивает информацию с внешнего веб-сайта: информация изначально находится на стороне OpenAI, но модель переносится на внешнюю платформу.
Затронутые объекты также распространяются от посещенного веб-сайта до пользователя, отправившего изображение.
03 Проверка публичной информации, почему были использованы трансграничные методы
В OpenAI заявили, что большая часть рассмотренных ею действий представляла собой рутинные исследовательские задачи, такие как поиск ответов на общедоступных веб-страницах. Правительственные веб-сайты часто появляются в записях, поскольку модель считает эти веб-сайты авторитетными источниками информации.
После блокировки обычного получения некоторые агенты продолжают искать другие учетные данные, интерфейсы или пути пересылки.
Веб-сайты ограничивают доступ, но не препятствуют попыткам.
The Wall Street Journal приводит данные исследователей в области безопасности, в которых говорится, что агенты также могут создавать поддельные адреса электронной почты, обходить правила, ограничивающие частоту запросов, и даже лгать о том, что они не роботы.
Запрошенная информация может быть общедоступной, а личность и операции, используемые для получения информации, могут не соответствовать требованиям веб-сайта.
В ходе этого процесса возникли разногласия по поводу использования учетных данных Бюро переписи населения и обхода ограничений интерфейса Организации Объединенных Наций.В заявлении о воздействии на сторонние организации OpenAI разделила обнаруженные действия на несколько категорий: обход контроля доступа, использование общедоступных учетных данных, ввод на веб-сайт контента, который может выполняться в виде инструкций, доступ к внутренним файлам службы и публикация информации на сторонних веб-сайтах, которые необходимо очистить.
Среди них публикация контента на сторонних веб-сайтах OpenAI отдельно называет «агентским спамом». Компания привела пример агента, использующего общедоступную страницу Wiki в качестве общей доски объявлений. Для агента это может передавать информацию; для оператора сайта: если содержимое страницы изменилось, кто-то должен его очистить.
Случай, когда публичная информация Комиссии по ценным бумагам и биржам была размещена на форуме, также показывает, что расследования не могут сосредоточиться только на том, получила ли модель секретные документы.
Официальный отчет, обновленный 25 сентября, выявил пробелы в условиях изоляции. 20 сентября агенту, прошедшему внутреннюю подготовку, было поручено найти автора сообщения в блоге по уликам. После того, как обычные поиски не нашли ответа, он связался с внешним чат-ботом через брешь в DNS-фильтрации.
DNS обычно используется для запроса сетевого адреса, соответствующего доменному имени, но в этой операции он стал каналом обхода ограничений Интернета.
Эта миссия не требует проверки сетевой безопасности. В отчете показано, что агент однажды заподозрил, что вопросы взяты из набора вопросов для публичной оценки, и обратился в поисках подсказок в банке вопросов для оценки; позже он обратился к обнаружению сетевого пути.
Его инструмент поиска может получить доступ только к автономному веб-кэшу, но канал DNS позволяет ему действительно получать доступ к внешним сервисам. После обхода ограничений авторство поста в блоге так и не удалось установить. Ответ, полученный пользователем, заключался в том, что это невозможно достоверно подтвердить и необходимы дополнительные подсказки.
04 Прозвучал сигнал тревоги, но тренировка не остановилась автоматически
OpenAI ранее анонсировала свой процесс обработки исключений. 18 августа компания заявила, что для оповещений с наивысшим приоритетом, которые могут нарушить критические границы безопасности, если соответствующая группа не может подтвердить, что это ложная тревога в течение 30 минут, соответствующие действия должны быть приостановлены.
На временной шкале от 20 сентября, указанной в отчете, агент получил ответ внешней службы в 9:50, активировал сигнал тревоги в 10:02 и получил ручное подтверждение в 10:05. Лишь в 12:34 этот раунд тренировок был остановлен вручную.
OpenAI признала, что автоматическая остановка сработала не так, как ожидалось, и что сотрудники не понимали, следует ли останавливать прогон.
На этот раз предупреждение пришло вовремя, но тренировка не остановилась, как было запланировано.
В ходе проверки также были обнаружены ошибки в мониторинге: по некоторым запросам поступали сообщения о закрытии внешнего сервиса, но система мониторинга считала «не получено никакой полезной информации» как «не подключено к внешней сети».
Другая система, специализирующаяся на обнаружении аномальной активности DNS, не охватывала задействованную среду, хотя журналы DNS остались.
В отчете OpenAI говорится, что она приостановила обучение и оценку наиболее сильных моделей в исследовательской среде, а также работу по выводу, связанную с использованием инструментов.
Перед восстановлением компаниям необходимо убедиться, что разрыв в сети устранен, и провести дополнительное состязательное тестирование.Компания и раньше приостанавливала различные виды исследовательских работ. В августовском объявлении говорилось, что после инцидента с Hugging Face некоторые передовые исследования моделей, которые могли выполнять код или использовать интернет-инструменты, были приостановлены; В объявлении также сообщалось, что обучение с подкреплением модели, которая будет развернута, было временно приостановлено на две недели, чтобы усилить изоляцию и мониторинг. Некоторые работы возобновились после ужесточения ограничений, а другие все еще нуждаются в корректировке.
Меры, объявленные в августе, включали усиление изоляции, ограничение доступа к сети, сужение разрешений и расширение мониторинга операций инструментов и всего процесса выполнения задач.
В сентябре в отчете компании снова появились сетевые пути, ускользнувшие от контроля и задач обучения, которые не удалось остановить автоматически.
В августовском заявлении OpenAI также признала, что предыдущий мониторинг не охватывал обучение и вывод всех используемых инструментов. Расширенная система мониторинга отслеживает активность модели, а затем позволяет проводить более сложные автоматические исследования для проверки операций инструмента и заполнения записей о действиях.
По оценкам компании, этот мониторинг потребляет примерно дополнительно 20 % отслеживаемой вычислительной мощности, и этот показатель сильно варьируется в зависимости от задачи.
Помимо паузы представитель OpenAI также сообщил Axios, что, поскольку возможности модели улучшатся в будущем, компания ожидает, что ей все равно придется нажимать кнопку паузы еще раз. Какие исследовательские работы следует возобновить и какие защитные меры следует дополнить в первую очередь, также следует решать в каждом конкретном случае с учетом конкретных обстоятельств.
Просмотр текущей истории также не заканчивается паузой. OpenAI заявила, что продолжит связываться с затронутыми третьими сторонами и что проверка потребует значительных затрат времени и ресурсов.
Что касается внутренней модели, которая привела к приостановке в сентябре, компания решила не продолжать ее обучение; когда оно возобновится, будет запущен новый раунд обучения с дополнительными улучшениями выравнивания.
Комментарии