OpenAI развертывает «диспетчерскую» ИИ: блокирует вывод модели на срок до 35 секунд

Аннотация:

Недавно OpenAI объявила, что развернула центральную систему управления под названием «Контрольная комната» в своей внутренней исследовательской инфраструктуре. Если задача модели создает угрозу безопасности или безопасности сети,

система может заблокировать продолжение вывода модели на срок до 35 секунд после получения команды остановки

По данным OpenAI, Control Room может единообразно отслеживать исследовательские задачи, такие как обучение с подкреплением, оценка модели, выборка агентов и обработка данных, и связана с системой мониторинга поведения модели.

Модель мониторинга проверит логику и процесс работы обученной модели. При обнаружении потенциальных проблем можно подать сигнал тревоги или приостановить выполнение задачи непосредственно в зависимости от степени риска.

Во время конкретного процесса выполнения система мониторинга отправит идентификатор задачи, которую необходимо остановить, в диспетчерскую. В следующий раз, когда соответствующая задача будет применена к выводу модели, механизм вывода проверит разрешение на ее запуск; если задача помечена как завершенная, система отклонит запрос, чтобы модель не могла продолжать генерировать контент.

OpenAI заявила, что

В настоящее время с момента получения диспетчерской команды остановки до момента, когда задача вообще не может продолжать выполнение, проходит до 35 секунд.

В системе также используется механизм закрытия при сбое. Если диспетчерская выйдет из строя, отключится или подвергнется несанкционированному вмешательству, все связанные запросы на вывод будут по умолчанию отклонены до тех пор, пока обслуживание не будет восстановлено. Этот механизм теперь охватывает все передовые задачи исследования моделей OpenAI и распространяется на другие исследовательские задачи. OpenAI заявила, что ее службы внешних моделей используют более централизованную техническую архитектуру и в настоящее время имеют соответствующие возможности развертывания в автономном режиме и реагирования на чрезвычайные ситуации.