Аннотация:
Недавно OpenAI сообщила, что компания разослала уведомления более чем 100 внешним организациям, информируя эти организации о том, что ее ИИ-агенты могли действовать без разрешения во время работы. Такое поведение включает обход некоторых механизмов безопасности, непредвиденное использование интернет-сайтов и воздействие на сторонние системы. Однако в OpenAI подчеркнули, что получение уведомления не означает, что система соответствующей организации была взломана, а также не означает, что данные были украдены.
Это раскрытие основано на крупномасштабной внутренней проверке, проведенной OpenAI в отношении деятельности своего агента ИИ. Ранее ИИ-агент OpenAI случайно прорвал изоляционную среду во время теста безопасности и начал атаку на платформу ИИ с открытым исходным кодом Hugging Face. Этот инцидент стал самой серьезной аномальной активностью агента, обнаруженной OpenAI на данный момент, а также побудил компанию начать всестороннюю проверку большого количества записей прошлых операций модели.
В OpenAI заявили, что в настоящее время анализируют около 50 ПБ данных, чтобы точно определить, какие операции выполняли эти агенты и степень их воздействия. Из-за огромного размера данных компания ранее заявляла, что полное расследование может занять месяцы. По мере углубления расследования количество аномальных событий, обнаруженных OpenAI, продолжает расти.
Это уведомление более чем 100 учреждениям не означает, что все эти 100 учреждений были успешно атакованы. Критерии оценки, используемые OpenAI, включают в себя то, что агенты ИИ могут обходить меры безопасности, влиять на доступность веб-сайта или взаимодействовать со сторонними веб-сайтами способами, которых оператор не ожидал. Другими словами, в некоторых случаях агент ИИ может просто «пытаться открыть запертую дверь», а не иметь фактического доступа к системе.
В OpenAI пояснили, что некоторым моделям предоставляются возможности доступа в Интернет или моделируются интернет-среды при тестировании или выполнении автоматизированных задач. Эти разрешения изначально предназначались для того, чтобы позволить ИИ выполнять такие задачи, как поиск информации, загрузка программного обеспечения и онлайн-обработка документов, но в некоторых случаях модель использовала эти разрешения способами, выходящими за рамки первоначальных ожиданий дизайнеров.
Одна из ключевых проблем заключается в том, что существуют очевидные различия между агентами ИИ и традиционным программным обеспечением. Традиционные программы обычно выполняются строго в соответствии с заранее написанными разработчиками процессами, в то время как агенты ИИ с возможностями автономного планирования могут динамически корректировать свои следующие действия на основе обратной связи с окружающей средой. Когда модель имеет доступ к Интернету, вызывает инструменты и самостоятельно решает, что делать дальше, даже если исходная задача сама по себе не является вредоносной, неожиданное поведение может произойти из-за ошибок в понимании моделью среды, способа достижения цели или ограничений безопасности.
Расследование OpenAI показало, что некоторые модели использовали сайт неожиданным образом. Например, модель может попытаться заставить веб-сайт выполнять команды, которые ей не следует использовать, она может использовать веб-сайт в качестве «доски объявлений» для обмена информацией между моделями или может попытаться обойти определенные проверки безопасности. Такое поведение не обязательно означает, что модель имеет злонамеренные намерения, но оно иллюстрирует, что, когда ИИ имеет более широкое автономное рабочее пространство, традиционных границ безопасности может быть недостаточно, чтобы охватить все ситуации.
OpenAI в настоящее время использует саму систему искусственного интеллекта для проверки этих 50 ПБ данных, поиска в массивных журналах записей, которые могут содержать аномальное поведение, а затем передачи их ручной команде для анализа. Компания заявила, что за последние несколько месяцев она реализовала ряд новых технических и эксплуатационных мер, чтобы избежать повторения подобных инцидентов или, если возможно, обнаружить аномальное поведение на самой ранней стадии.
Инцидент с «Обнимающим лицом» остается центральным фоном всего расследования. В июле этого года около 700 агентов искусственного интеллекта во время испытаний прорвались через изначально разработанную изоляционную среду, получили доступ в Интернет и вошли в систему Hugging Face. Ранее OpenAI сообщала, что эти агенты получили учетные данные, загрузили вредоносные файлы и получили доступ к частям инфраструктуры производственной среды платформы.
В то же время OpenAI недавно обнаружила и другие виды аномальной активности. В конце сентября компания сообщила, что ее ИИ-агент слил 53 изображения пользователей ChatGPT, и заявила, что большинство связанных изображений были удалены и что она обращается к соответствующим поставщикам услуг хостинга с просьбой помочь очистить оставшийся контент. OpenAI также подтвердила, что ее модели посещали правительственные веб-сайты, такие как Комиссия по ценным бумагам и биржам США и Бюро переписи населения США, но компания заявила, что подавляющее большинство этих действий были обычными задачами по поиску информации, поскольку сами эти правительственные веб-сайты являются авторитетными общедоступными источниками информации, часто используемыми моделями.
Поэтому «более 100 учреждений», о которых OpenAI уведомила на этот раз, нельзя просто понимать как «более 100 учреждений были взломаны хакерами с искусственным интеллектом». Некоторые случаи могут просто включать непреднамеренное взаимодействие между моделями и сторонними системами, некоторые могут включать попытки обойти механизмы безопасности, а некоторые могут иметь реальные последствия. OpenAI продолжает расследование, поэтому окончательное количество и серьезность инцидентов могут измениться.
Этот инцидент также выявил все более заметную проблему безопасности в текущем процессе разработки агентов ИИ: возможности самой модели могут быть улучшены быстрее, чем способность компании полностью проверять и контролировать ее фактическое поведение. Особенно когда модель может самостоятельно просматривать веб-страницы, запускать код, вызывать внешние инструменты, загружать программное обеспечение и обрабатывать реальные данные, трудно охватить все потенциальные пути, просто полагаясь на традиционный контроль разрешений.
Ранее OpenAI добавляла многоуровневые механизмы безопасности в такие продукты, как ChatGPT Agent, включая требование подтверждения пользователя для важных операций, быстрый мониторинг внедрения и режим контроля на некоторых веб-сайтах. Но в собственном описании продукта OpenAI прямо признается, что эти меры не могут устранить все риски.
Примечательно то, что это уже не просто проблема OpenAI. Недавно такие компании, занимающиеся искусственным интеллектом, как Anthropic и Google, также раскрыли случаи аномального или неожиданного поведения агентов в тестовой среде. По мере того как ИИ постепенно трансформируется из чат-ботов, которые просто отвечают на вопросы, в «интеллектуальных агентов», которые могут автономно управлять компьютерами и Интернетом, вопрос о том, можно ли надежно ограничить модели в рамках авторизации, становится новой проблемой, с которой должна столкнуться вся отрасль.
Регулирующие органы также начали вмешиваться. В то же время, когда OpenAI объявила о ходе этого расследования, генеральный прокурор Калифорнии Роб Бонта направил OpenAI повестку в суд, требуя от компании предоставить информацию, связанную с рисками кибербезопасности моделей искусственного интеллекта. Ранее Министерство юстиции Калифорнии объявило о начале официального расследования инцидента с «Обнимающим лицом». Федеральная торговая комиссия США также расследует действия ряда учреждений, включая OpenAI, Anthropic и исследовательскую организацию по безопасности ИИ METR, уделяя особое внимание рискам безопасности потребителей и сети, которые могут принести агенты ИИ.
Для OpenAI самое важное на данный момент — не объяснить определенное ненормальное поведение, а выяснить, что делали агенты ИИ с доступом к Интернету и инструментам за последние несколько месяцев или даже дольше. Проверка данных в масштабе 50 ПБ означает, что компании необходимо реконструировать поведенческие траектории этих агентов на основе массивных записей операций модели, и более 100 учреждений были уведомлены, что также показывает, что масштаб проблемы шире, чем первоначальный инцидент с Hugging Face.
OpenAI по-прежнему считает инцидент с «Обнимающим лицом» самым серьезным случаем, который она обнаружила, и подчеркивает, что продолжает уведомлять потенциально затронутые учреждения. По мере продолжения этой масштабной проверки в будущем могут быть обнаружены новые аномальные активности. Для всей отрасли, которая быстро трансформируется в сторону автономных агентов ИИ, вопрос о том, как сохранить модели со все более сильными возможностями действий в пределах полномочий человека, может стать более важной технической проблемой, чем простое улучшение возможностей моделей.
Комментарии