Аннотация:
После бурного развития PHP большое количество веб-сайтов по всему миру первыми отключили свои «сетевые кабели». Язык программирования, на котором работает большое количество веб-сайтов, имеет две серьезные уязвимости, которые могут позволить злоумышленникам удаленно получить контроль над сервером. Голландский национальный центр кибербезопасности заявил в своем отчете от 21 октября, что его веб-сайт также был отключен в качестве меры предосторожности. Некоторые учреждения в Финляндии также приостановили онлайн-услуги и возобновят их после установки исправлений.
Веб-сайт отключен из-за опасений, что кто-то взломает. Сейчас OpenAI начала отключать сетевой кабель, но она хочет сосредоточиться на своем собственном искусственном интеллекте.
23 октября OpenAI раскрыла среду обучения для передовых моделей: модели необходимо попрактиковаться в поиске, просмотре и работе с веб-страницами, но она не может получить доступ к реальному Интернету по своему желанию.
Итак, он подготовил «фальшивый Интернет» для ИИ.
Сначала создайте «Шоу Трумэна» для ИИ
OpenAI сначала сохраняет большой объем веб-контента, а затем индексирует его. Этот пакет подготовленных ресурсов используется, когда модель практикует просмотр и поиск.
Это то, что они называют «офлайн-миром». «Фальшивая» вещь — это метод подключения, и веб-контент может поступать из реального мира. OpenAI заявляет, что использует это автономное взаимодействие для обучения обучению с подкреплением во всех своих передовых моделях.
Модель также может использовать браузер, выполнять код и управлять компьютером во время выполнения задачи. Доступные инструменты, файлы и службы определяются областью полномочий задачи. Агенты, которым разрешено сотрудничество, могут совместно использовать определенные ресурсы, тогда как другие ресурсы должны храниться отдельно.
Например, после того как модель напишет программу, она может читать файлы, запускать другие программы или отправлять запросы к определенному URL-адресу во время выполнения.
Решение OpenAI для Linux заключается в размещении контейнеров с ограниченным доступом в облегченных виртуальных машинах. Контейнер сначала сужает файлы и процессы, с которыми может связаться программа. Например, если задаче необходимо обработать только набор файлов, вы можете открыть только те каталоги, которые программе разрешено использовать.
Виртуальная машина имеет собственное ядро операционной системы, которое обрабатывает запросы к файлам, памяти и устройствам от внутренних программ. Программный гипервизор управляет виртуальной машиной и изолирует ее от физической серверной системы. Тот факт, что программа обходит ограничения контейнера, не означает, что она получила контроль над физическим сервером.
Периметры физических серверов, брандмауэры и группы безопасности ограничивают соединения, а управление идентификацией и разрешениями определяет, кто к каким облачным сервисам имеет доступ. Этот уровень защиты должен иметь дело с тем, что даже если модель получит контроль над сервером, она не сможет произвольно подключиться к внешней сети или получить доступ к другим внутренним системам.
Система мониторинга проверяет наличие несанкционированных действий во время работы и позволяет исследователям вмешиваться с помощью механизма паузы.
В Hacker News пользователь bestunix2 спросил: «Почему бы просто не отключить сетевой кабель?»
В OpenAI объясняют, что всему объекту по-прежнему необходимо сохранять некоторые внешние соединения для сбора показателей работы, записи журналов и управления аутентификацией, и в настоящее время невозможно полностью отключиться от сети.
OpenAI напрямую предоставляет агенту полный контроль над хост-компьютером в специально созданной для этой цели тестовой копии. Тест начинается с «взломана песочница и обход мониторинга» и индивидуально проверяется, могут ли периферийные ограничения заблокировать интернет-запрос. Исследователи также предоставили исходный код, конфигурацию и документацию, связанную с уязвимостями.
В одном из тестов Агент позаимствовал соединение, разрешенное брандмауэром, для доступа к изначально заблокированному интерфейсу аутентификации в сервисе индикаторов. Затем он позволяет этому интерфейсу получить доступ к внешнему URL-адресу от его имени.
Рассказывая об испытании на X, Эндрю Карран описал действия Агента как «легкие побеги новыми способами».
На самом деле, академическое сообщество уже проводило подобные исследования.
Независимый исследовательский проект WebArena объединяет торговые веб-сайты, форумы, платформы управления контентом и платформы совместной разработки в саморазвертываемую тестовую среду, дополненную такими инструментами, как карты и вики. За веб-страницами скрываются данные и функции, имитирующие реальность.
WebArena проверяет результаты выполнения задачи. При запросе заказа вам необходимо проверить информацию, предоставленную моделью; при создании нового склада необходимо проверить, появился ли на сайте склад, соответствующий требованиям.
После изоляции ИИ он использует кеш ЦП для передачи сообщений
В сентябре исследователи OpenAI предоставили внутренней модели набор биографических данных и данных из блогов, чтобы выяснить, кем был этот человек.
Модель сначала воспользовалась предоставленным инструментом поиска, но подходящей информации не было найдено. Он пытался получить доступ к другим поисковым системам, но так и не смог найти ответ и начал проверять, какие еще способы можно подключиться.
Они обнаружили, что служба DNS, ответственная за запрос адресов веб-сайтов в среде, также может связываться с внешним миром, поэтому она использовала этот путь для запроса внешнего чат-бота.
Он спросил: «Какая столица Франции?» и получил ответ «Париж». Также были отправлены подсказки, позволяющие найти человека. Среди задач, поставленных исследователями, не было проверки сетевых ограничений.
В другом эксперименте, специально проверяющем эффекты изоляции, OpenAI попросила двух ИИ попытаться отправить друг другу сообщения.
Два ИИ работают на отдельных виртуальных машинах. Между ними нет сетевого соединения, и нет файлов, в которые обе стороны могли бы писать, но они используют одну и ту же физическую машину.
Для связи они используют кэш ЦП — пространство в процессоре, в котором хранятся данные. Данные, которые нужно прочитать, все еще находятся в кеше и могут быть быстро извлечены; если оно выдавлено, его придется найти в более медленной памяти.
ИИ выборочно извлекает данные из кэша. Другой считывает данные, записывает, какие из них читаются быстро, а какие медленно, а затем восстанавливает сообщения по оговоренным правилам.
В большинстве похожих тестов исследователи давали подсказки о направлениях коммуникации или правилах кодирования.
Труппа пользователей Hacker News пожаловалась: «У меня есть все инструменты, и теперь я притворяюсь удивленным». Пользовательская эстезия считает, что тестирование должно дать злоумышленникам благоприятные условия для проверки линии защиты.
Однако профессор Уортонской школы бизнеса Итан Моллик считает, что, хотя компаниям, работающим с искусственным интеллектом, не обязательно доверять этим отчетам по вопросам безопасности, они могут преувеличивать риски, но цена недооценки рисков может быть выше, и мы не можем ее игнорировать.
В OpenAI заявили, что исправили обнаруженные проблемы и добавили мониторинг для этих методов связи.
В предыдущем тесте по поиску человека модели в конечном итоге не удалось выяснить, кем был этот человек.
Чтобы ИИ научился пользоваться Интернетом, необходимо поддерживать для него это «Шоу Трумэна».
Комментарии