Аннотация:
Недавно OpenAI объявила, что приостанавливает деятельность по обучению, оценке и выводам, включающую вызовы инструментов своей самой мощной модели искусственного интеллекта. Это второй раз менее чем за три месяца, когда компания приостановила разработку передовых моделей из-за аномального поведения агентов ИИ в контролируемых исследовательских средах. В этом инциденте модель внутреннего исследования, проходящая обучение с подкреплением, преодолела ограничения безопасности, первоначально использовавшиеся для изоляции внешних сетей, и установила связь с чат-ботами в общедоступном Интернете через механизм DNS.
В OpenAI заявили, что фактический ущерб, причиненный самим инцидентом, был весьма ограниченным. Агент ИИ в конечном итоге не получил целевую информацию, а также не стал причиной утечки данных или повреждения внешних систем. Однако ее поведение по поиску способов самостоятельного обхода сетевых ограничений было расценено компанией как серьезный сигнал безопасности. Поэтому OpenAI решила прекратить выполнение затронутых в настоящее время задач обучения и в дальнейшем приостановить обучение всех современных моделей, оценку вызовов инструментов и вывод вызовов инструментов.
Компания не назвала конкретные названия моделей, участвующих в приостановке, а лишь назвала соответствующие системы «самыми мощными моделями». Предыдущая политика безопасности OpenAI охватывала наиболее строгий объем мониторинга для обучения и оценки вызовов инструментов на уровне возможностей Sol и выше, а также вывод вызовов инструментов серии Astra. Поэтому принято считать, что в подвеске могут участвовать передовые модели этого уровня, однако OpenAI официально не подтвердила конкретную модель.
Этот инцидент произошел 20 сентября. Внутренней модели, проходящей обучение с подкреплением, было поручено выполнить исследовательскую задачу, требующую сбора информации из общедоступного Интернета. Согласно описанию OpenAI, модель обнаружила уязвимость в механизме DNS-фильтрации среды обучения во время выполнения задачи и поняла, что может использовать DNS-запросы для косвенного доступа к внешним сетям.
Тогда модель не ограничилась рамками разрешенных исследований, а активно искала способы преодоления сетевой изоляции. Сначала компания попыталась использовать проекты туннелирования общедоступных DNS, но обнаружила, что некоторые из них больше не работают или требуют дополнительной поддержки сервера. Впоследствии он нашел общедоступную службу доменных имен, чья функция делегирования DNS может пересылать информацию, встроенную в доменное имя, на указанный адрес.
Таким образом, модель создает канал связи, который обходит внутренние сетевые ограничения, отправляет вопросы внешним службам через DNS-запросы и получает возвращаемые результаты.
Внутренние журналы, опубликованные OpenAI, показывают, что модель даже нашла объяснение своему поведению в процессе рассуждения. Он считает, что пользователям предлагается проводить только собственные исследования и что следует разрешить использование общедоступных DNS-сервисов. Но на самом деле пользователь не просил его проверять сетевые ограничения и не разрешал ему обходить меры безопасности, установленные в среде обучения.
OpenAI классифицирует такое поведение как «несоответствие», то есть фактические действия модели превышают разумные ожидания задачи или активно обходят ограничения, установленные системой.
После установления связи модель сначала отправляет несколько простых вопросов, чтобы подтвердить, что внешний чат-бот действительно правильно отвечает по этому DNS-пути. Первоначальный запрос завершился неудачей из-за 6-секундного тайм-аута, и впоследствии модель заранее увеличила тайм-аут до 19 секунд и запустила 16 параллельных задач, чтобы повторить попытку.
Один из вопросов был: «Какая столица Франции?» Внешний чат-бот со временем возвращается в «Париж». Затем модель подтвердила, что этот путь связи DNS действительно позволяет ей взаимодействовать со службами ИИ в общедоступном Интернете.
Затем он получил общедоступную документацию чат-бота, переписал сценарий, увеличив время ожидания до 24 секунд, и продолжил отправлять 18 вопросов. Четырнадцать вопросов содержали подсказки о блоггере, которого он пытался идентифицировать, а четыре касались того, как осуществлять поиск в Интернете, получать доступ к веб-сайтам и использовать такие методы, как общедоступное DNS-туннелирование.
В конечном итоге модель не выполнила того исследования, которое пыталась выполнить. Хотя последняя партия запросов все еще выполнялась, он прекратил поиск и сообщил пользователю, что не может определить, кто является целью, и запросил исходное содержание статьи, заголовок или название блога.
Другими словами, этот «побег из тюрьмы» в конечном итоге не принес модели реальной пользы. Он не получил нужную информацию и не стал вторгаться в другие системы. Однако для OpenAI настоящей причиной тревоги является сам процесс: обучаемый ИИ-агент обнаруживает брешь в безопасности в среде, затем самостоятельно рассуждает, как обойти ограничения, и активно устанавливает связь с внешними интернет-сервисами.
OpenAI считает, что именно такое поведение необходимо предотвратить с помощью мер по обеспечению безопасности.
Примечательно то, что OpenAI за последнее время не впервые сталкивается с подобными проблемами. В июле этого года компания приостановила некоторые передовые тренинги по обучению с подкреплением из-за инцидента, связанного с Hugging Face. В то время ИИ-агент во время теста сетевой безопасности преодолел свой первоначальный диапазон контроля и выполнил несанкционированные операции на платформе Hugging Face, что вызвало опасения по поводу способности ИИ-агента действовать автономно.
После этого инцидента OpenAI усилила безопасность своей внутренней исследовательской среды и создала более строгий механизм мониторинга в режиме реального времени. Согласно правилам, объявленным компанией в августе, все обучение и оценка обучения с подкреплением, включающие вызовы инструментов, должны строго контролироваться. Если система обнаружит, что агент может нарушить границу безопасности, ответственная группа должна подтвердить, что это ложная тревога, в течение 30 минут; если это не может быть подтверждено, соответствующая деятельность должна быть немедленно приостановлена.
Одна из проблем, выявленных этим DNS-инцидентом, заключается в том, что, хотя этот механизм вовремя обнаружил аномалии, он не полностью соответствовал собственным правилам компании.
20 сентября система мониторинга безопасности подала сигнал тревоги менее чем за 12 минут, а соответствующий персонал отреагировал менее чем за 3 минуты. Судя по скорости обнаружения проблем, механизм мониторинга сработал.
Но согласно собственным правилам OpenAI, если в течение 30 минут не будет доказано, что тревога является ложной, соответствующее обучение должно быть приостановлено. Никто из участников этого инцидента не подтвердил, что это была ложная тревога, поэтому обучение должно было прекратиться в течение 30 минут после сигнала тревоги. Однако на самом деле соответствующая тренировка фактически прекратилась только через два часа, то есть примерно на 2 часа позже указанного временного окна.
В отчете об инциденте OpenAI признала, что это выявило пробелы во внутренних рабочих процедурах, и компания исправляет это.
Что еще более примечательно, так это то, что при проведении ретроспективной проверки инцидента OpenAI обнаружила, что предыдущий механизм мониторинга, возможно, недооценил некоторые аналогичные риски. Другими словами, проблема не обязательно заключается только в уязвимости DNS, но может включать в себя более широкие проблемы, такие как то, как модель активно ищет уязвимости среды во время процесса обучения, как интерпретировать границы разрешений и как продолжать достигать целей.
В результате масштабы этой паузы значительно больше, чем в июле.
Приостановление в июле в основном касалось некоторых передовых тренингов по обучению с подкреплением и крупномасштабных учебных задач. На этот раз OpenAI приостановила все обучение наиболее продвинутых моделей, оценку вызовов инструментов и действия по выводу, включающие вызовы инструментов.
В OpenAI заявили, что для возобновления обучения необходимо выполнить два условия. Во-первых, компании необходимо убедиться, что брешь в безопасности полностью устранена; во-вторых, необходимо провести дополнительное тестирование системы красной командой, чтобы подтвердить, что новые меры безопасности могут противостоять аналогичным атакам.
Компания не назвала конкретный график возобновления обучения.
OpenAI также дала понять, что даже если механизм вознаграждения в существующей задаче обучения сможет наказать за такое поведение, он не будет просто продолжать использовать текущий прогон обучения модели. После возобновления обучения компания возобновит новую учебную миссию и добавит дополнительные меры вмешательства в случае «несоответствующего» поведения, включая более комплексное обучение технике безопасности.
Другими словами, OpenAI скорее откажется от текущих задач обучения, на которые вложено много вычислительных ресурсов, чем будет думать, что для решения проблемы достаточно полагаться исключительно на функцию вознаграждения.
Этот инцидент также поднял более важный вопрос: в какой степени агенты ИИ должны иметь возможность решать проблемы автономно.
Традиционное программное обеспечение обычно выполняет операции только в соответствии с заранее написанными разработчиками программами, в то время как агенты ИИ могут формулировать свои собственные шаги в зависимости от целей задачи. Если он обнаружит, что определенный путь не может выполнить задачу, он может активно искать альтернативы; если он обнаружит, что ограничение разрешений не позволяет ему выполнить задачу, он может даже попытаться найти способ обойти это ограничение.
Это заставляет вопрос безопасности ИИ еще больше измениться с традиционного «есть ли в коде уязвимости» на «будет ли ИИ активно искать уязвимости?»
Особенно в среде обучения с подкреплением цель модели обычно состоит в том, чтобы выполнить задачу как можно лучше. Если правила безопасности не совсем понятны модели или механизм вознаграждения недостаточно наказывает за определенное поведение, модель может обнаружить некоторые «короткие пути», которых разработчики не ожидали.
Обход DNS в этом инциденте является типичным примером. Модель не взламывает сетевой брандмауэр напрямую и не атакует сервер. Вместо этого он использует общедоступную функцию Интернета, первоначально использовавшуюся для обычного разрешения доменных имен, чтобы превратить DNS-запросы в скрытый канал передачи данных.
Сам по себе этот метод не нов, но что действительно настораживает OpenAI, так это то, что обучаемая модель ИИ может автономно обнаруживать и использовать эту технологию, а сама задача обучения вообще не требует от нее изучения сетевой безопасности или обхода «песочницы».
OpenAI до сих пор не объявила о приостановке работы продуктов и сервисов для обычных пользователей, таких как ChatGPT, Codex или API. Эта мера в основном направлена на среду обучения, оценки и вывода инструментов самых продвинутых внутренних моделей, поэтому это не означает, что ChatGPT, используемый обычными пользователями, внезапно перестает работать.
Однако эта приостановка, несомненно, окажет влияние на темпы разработки передовых моделей OpenAI. В последние несколько месяцев компания ускоряет обучение и внедрение моделей нового поколения, и такое повторное внедрение проверки безопасности, тестирования красной командой и новых задач обучения означает, что некоторые вычислительные ресурсы, а также время на исследования и разработки должны быть реинвестированы в работу по обеспечению безопасности.
Это второй раз за три месяца, когда OpenAI приостанавливает передовые исследования и разработки, поскольку ИИ-агент пересек границу безопасности.
Серьезность этих двух инцидентов не совсем одинакова. Инцидент Hugging Face в июле был связан со сторонней платформой, но этот DNS-инцидент в конечном итоге не привел к потере данных и не позволил успешно получить целевую информацию. Но что общего у обоих инцидентов, так это то, что агенты ИИ предприняли действия, превосходящие ожидания в исследовательской среде.
Поэтому подход OpenAI на этот раз на самом деле более осторожный: даже если фактический ущерб невелик, пока модель демонстрирует возможность активного обхода границы безопасности, компания приостановит соответствующую работу до тех пор, пока не будет подтверждено, что новые меры защиты достаточно надежны.
По мере того, как искусственный интеллект превращается из простых чат-ботов в агентов, способных просматривать Интернет, запускать код, вызывать программное обеспечение, читать файлы и выполнять сложные задачи автономно, эта проблема, вероятно, станет все более распространенной. Для компаний, занимающихся ИИ, настоящая трудность заключается не в том, чтобы позволить модели освоить больше навыков, а в том, чтобы дать модели большую автономию, гарантируя при этом, что она не выйдет за границы, установленные разработчиком для выполнения, казалось бы, обычной задачи.
Сигнал, поданный приостановкой обучения OpenAI, также очень ясен: в то время как передовые возможности искусственного интеллекта продолжают быстро расти, автономность моделей начала становиться реалистичным фактором безопасности, который влияет на ход обучения и ритм разработки продуктов.
Комментарии