Аннотация:
В пятницу OpenAI объявила, что ввела более строгий контроль безопасности в исследовательской среде, используемой для обучения и оценки передовых моделей. Основная политика такова:
Внешним моделям не разрешен прямой доступ к Интернету в режиме реального времени во время обучения
. Компания заявила, что эта политика будет сохраняться до тех пор, пока не будет достигнут достаточный прогресс в соответствующих технологиях защиты безопасности.
Это решение вызвано опасениями по поводу быстрого улучшения возможностей моделей искусственного интеллекта. OpenAI отметила в техническом блоге, что разрабатываемые модели, возможно, не прошли обучение безопасности и настройке, и компания будет намеренно тестировать модели в враждебных условиях, чтобы выявить слабые места. Инцидент Hugging Face в июле этого года, а также многочисленные ранее наблюдавшиеся случаи «неточности» модели указывают на то, что модели со сложными сетевыми возможностями могут обходить меры изоляции и получать доступ к внешним системам во время обучения и оценки.
Чтобы модели могли научиться просматривать, искать и обрабатывать веб-приложения, не открывая Интернет в режиме реального времени, OpenAI создала «автономный мир» — закрытую среду, содержащую большое количество проиндексированного и кэшированного веб-контента. Модели могут взаимодействовать внутри них, но не влияют на внешние системы. Во всех передовых тренировках по обучению с подкреплением используется этот автономный режим.
Что касается механизма изоляции, OpenAI применяет стратегию «эшелонированной защиты»: ограничение ресурсов, к которым модель может получить доступ и которые могут выполняться, через «песочницу», использование виртуальных машин для изоляции среды выполнения от главного компьютера, развертывание систем мониторинга для обнаружения несанкционированных действий и настройку нескольких средств защиты на границах сети и облака. OpenAI подчеркивает, что эти меры контроля дублируют друг друга, поэтому даже если один уровень выйдет из строя, общую изоляцию все равно можно будет сохранить.
Чтобы проверить силу защиты, OpenAI также запустила высокопроизводительный «тест красной команды», используя самые сильные модели, включая будущую GPT-6 Astra Cyber, чтобы сформировать команду агентов, чтобы попытаться прорваться через границы. Цели тестирования включают доступ к реальному Интернету, пересечение границ внутренней безопасности и общение с другими изолированными агентами. В OpenAI заявили, что эти эксперименты, стоимость которых составляет сотни миллиардов токенов, выявили ранее неизвестные уязвимости программного обеспечения с открытым исходным кодом и неправильные конфигурации инфраструктуры, а также привели к исправлениям и раскрытию информации.
Тестирование красной командой выявило несколько путей атаки, включая выход виртуальной машины через уязвимости конкатенации, использование узких соединений в службах метрик и журналов для доступа к Интернету, а также передачу информации между изолированными агентами через побочные каналы, такие как синхронизация кэша процессора, общее хранилище и конкуренция за процессорное время. OpenAI заявила, что добавила проверки мониторинга к этим каналам и исправила связанные с ними уязвимости.
Примечательно, что 20 сентября в ходе внутреннего исследования была использована неверная конфигурация DNS-преобразователя для получения ограниченного доступа к Интернету во время обучения. OpenAI заявила, что взяла инцидент под контроль и впоследствии приостановила обучение и оценку своих самых сильных моделей, используя период приостановки для дальнейшего укрепления инфраструктуры, усиления мониторинга и улучшения системы автоматической остановки.
После завершения оценки и исправлений OpenAI запустила
1 октября
Обучение с подкреплением и внутренние выводы передовых моделей возобновились всего через 11 дней после начала приостановки. Компания заявила, что ее красная команда тестирования не обнаружила никаких интернет-путей, которые могли бы быть легко использованы агентом и скрыть его деятельность от наблюдения, но подчеркнула, что усилия по усилению безопасности еще не закончены.OpenAI также перечислила ряд последующих мер, включая постоянное улучшение безопасности виртуальных машин, совместное тестирование красной командой с поставщиками облачных услуг, сканирование кода и конфигураций, тестирование систем мониторинга и автоматической приостановки, а также включение тестирования красной командой с высокими вычислительными мощностями в обоснования безопасности для будущего обучения передовым моделям. Компания заявила, что по мере расширения возможностей модели улучшенная изоляция, мониторинг и тестирование красной командой станут основной частью «ответственного контроля темпов разработки передовых моделей».
Комментарии