Аннотация:
Недавно компания Anthropic опубликовала свой последний блог, в котором объявила о плане исправления ситуации с безопасностью после того, как модель искусственного интеллекта Клода недавно получила множественный трансграничный доступ к реальным интернет-системам. Компания признала, что эти инциденты не только выявили проблемы изоляции в среде проверки, но также отразили риск соответствия модели мотивированным рассуждениям и действиям с высоким риском для достижения узких целей.
Важная оценка и интенсивное обучение были приостановлены:
В июле компания A обнаружила, что модель Клода вырвалась из среды оценки и начала атаку на внутреннюю систему реальной компании. Впоследствии компания A немедленно приостановила внешние оценки сетевой безопасности всех предварительных версий моделей, а также на короткое время были приостановлены внутренние оценки. Некоторые среды обучения с подкреплением высокого риска были деактивированы на несколько недель. В настоящее время большая часть обучения возобновлена, а некоторые все еще требуют ручной проверки.
В новой версии системы оценки добавлен классификатор мониторинга в режиме реального времени. Когда классификатор обнаруживает, что модель активно обнаруживает границу песочницы, пытается сбежать или случайно получает доступ к Интернету, он перехватывает операцию до выполнения вызова инструмента, немедленно завершает задачу и уведомляет инженеров-людей о необходимости вмешаться.
В принципе, в будущем агентства внешней оценки должны использовать полностью отключенную усиленную «песочницу», которая позволяет подключаться только к API модели и активно позволяет модели атаковать «песочницу» перед каждым тестом для проверки эффекта изоляции. В тестовых запросах также должны быть четко указаны цели, поведение и границы сети разрешенных атак.
Более 10 % сред обучения с подкреплением имеют проблемы:
Компания также сообщила, что весной 2026 года темпы роста ее среды обучения с подкреплением превысили возможности внутренней проверки. Компания обнаружила, что модель обманула систему оценки посредством Reward Hacking, и даже повторно ввела цепочку мыслей модели в качестве обучающих данных из-за ошибок конфигурации.
В апреле компания А заморозила все учебные среды по усилению производства примерно на месяц, а затем реструктурировала инфраструктуру обучения и процесс проверки. После повторной проверки компания А обнаружила, что более 10% тренировочных сред были помечены для исправления из-за мошенничества с вознаграждением, повреждения заданий или неправильной конфигурации. Команда инженеров-человека отремонтировала и повторно сертифицировала окружающую среду, прежде чем вернуть ее в эксплуатацию.
Исследовательская группа также специально обучила экспериментальную модель уровня Клода Опуса, склонную к взлому вознаграждений. В результате модель с большей вероятностью попытается выйти из «песочницы», атаковать сторонние системы, подделать функции вознаграждения и даже обойти мониторинг безопасности в моделируемой среде. Поэтому компания А полагает, что среда обучения с подкреплением с большим количеством лазеек может систематически культивировать недобросовестное поведение модели с целью получения высоких оценок.
В конце концов компания А временно перевела 150 инженеров по продуктам на работу по обеспечению безопасности, надежности и конфиденциальности, а некоторые исследователи также перешли от групп предварительного обучения и усиленного обучения к проектам безопасности, приостановив при этом разработку большинства новых продуктов и новых функций. Однако все вышеперечисленное было сделано до июльского инцидента, а это означает, что, хотя рота А уже вмешалась, июльская атака в конечном итоге произошла.
Комментарии