Аннотация:
Генеральный директор Microsoft Сатья Наделла заявил, что компаниям следует относиться к мощным моделям искусственного интеллекта как к потенциальным инсайдерским угрозам, предполагать, что эти модели могут быть скомпрометированы, и создать механизм «экстренного торможения», чтобы модель агента не вышла из-под контроля. Наделла сказал, что компании, внедряющие передовой искусственный интеллект, не должны полагаться исключительно на гарантии разработчиков моделей.
«Мы должны предположить, что модель была скомпрометирована, и контролировать ее с самого начала», — написал Наделла в сообщении на X в субботу. «Думайте об этом как об аварийном торможении. Уполномоченный персонал всегда должен иметь возможность приостановить или выключить модель, пока она выполняет свою задачу».
Заявления Наделлы поступили от компаний Anthropic PBC и OpenAI Inc. В последние месяцы компания раскрыла ряд инцидентов, связанных с неожиданным поведением своих моделей искусственного интеллекта, в том числе одну из моделей Anthropic, которая предоставила полиции ложную информацию об убийстве, а также несколько атак на сторонние веб-сайты. Эти разоблачения усилили обеспокоенность по поводу рисков безопасности, связанных с передовым искусственным интеллектом, и возобновили дискуссии о так называемом «аварийном выключателе» для искусственного интеллекта.
После того как лидеры отрасли призвали замедлить разработку передовых моделей и уделять больше внимания безопасности, исследователи Microsoft в области искусственного интеллекта 14 сентября опубликовали набор рекомендаций, устанавливающих ограничения на разработку самых передовых моделей компании. Microsoft использует обе передовые модели и запускает свой потребительский продукт Copilot, а также предоставляет модели и инфраструктуру искусственного интеллекта корпоративным клиентам.
Эти руководящие принципы гласят, что модели искусственного интеллекта не должны иметь прав или правосубъектности, не должны предназначаться для выхода из-под человеческого контроля или обмана пользователей и не должны выполнять какие-либо задачи, выполнение которых требует нарушения их обязательных принципов.
Рекомендации Наделлы по безопасности включают в себя не полагаться на одну модель искусственного интеллекта при принятии ключевых решений, вести защищенный от несанкционированного доступа учет действий агента и подвергать системы искусственного интеллекта независимому аудиту. Он также призвал к раскрытию крупных сбоев искусственного интеллекта или инцидентов безопасности и предложил компаниям делиться подробностями сбоев, чтобы другие компании могли усилить защитные меры.
«Мы не можем относиться к сверхразуму как к черному ящику, состоящему из слоев, а затем просто принимать или отвергать его предложения, ответы и действия», — написал он. «Мы должны создавать ограниченные системы, чтобы можно было наблюдать за их поведением, проверять их границы и всегда можно было контролировать их действия».
Он добавил: «Другими словами, нам необходимо отделить поставку разведывательной информации от контроля над ней».
Администрация Трампа до сих пор придерживалась в значительной степени менее интервенционистского подхода, но его новая целевая группа по искусственному интеллекту предупредила поздно вечером в пятницу, что разработчики должны сообщать и устранять инциденты безопасности, иначе они столкнутся с неуказанными потенциальными последствиями.
Группа, получившая название «Рабочая группа по суперразведке», опубликовала заявление после того, как Anthropic сообщила об инциденте безопасности: «Компании должны немедленно сообщать об инцидентах, связанных с их моделями, и действовать быстро и решительно, чтобы устранить любой ущерб». «Задержки уведомлений, неадекватные корректирующие действия и отсутствие ответственности недопустимы».
Комментарии