Аннотация:
Генеральный директор Anthropic Дарио Амодей предложил трехэтапную систему безопасности искусственного интеллекта, выступая за контроль скорости совершенствования возможностей передовых моделей, чтобы выиграть время для исследований в области безопасности и согласования. Anthropic станет первой компанией, которая предоставит сторонним оценщикам долгосрочный доступ к компании для проверки мер безопасности, сообщения об инцидентах и оценки процесса обучения модели.
Anthropic создаст постоянную команду внешней оценки
В статье под названием «Скорость передового прогресса необходимо контролировать» Амодей предложил, чтобы передовые компании, занимающиеся искусственным интеллектом, предоставили независимым сторонним группам оценки непрерывный внутренний доступ, близкий к обычным сотрудникам. Эксперты будут проверять соблюдение компаниями обязательств по безопасности, расследовать инциденты и сообщать о них, а также проводить оценку соответствия моделей и процессов их обучения.
Anthropic обязалась в одностороннем порядке реализовать эту меру и планирует предоставить внешним оценщикам офисные помещения, бейджи доступа, корпоративное оборудование, а также примерно эквивалентное рабочее пространство и доступ к инструментам для внутренней группы по оценке рисков. Исключения могут быть сделаны для контента, связанного с юридическими ограничениями, конфиденциальностью клиентов или коммерческой тайной.
Внешний оценщик будет уполномочен независимо делать ключевые выводы относительно рисков, инцидентов и практики обеспечения безопасности компании. Anthropic может производить ограниченное редактирование информации, связанное с безопасностью, юридическими привилегиями и конфиденциальностью третьих лиц, но не может предотвратить ее раскрытие только потому, что такое решение неблагоприятно для компании. Оценщики также могут публично заявить, повлияло ли удаление на их решение.
Трехэтапная система требует участия представителей промышленности и правительства.
Помимо привлечения независимых оценщиков, второй этап мер, предложенных Amodei, потребует от передовых компаний в области искусственного интеллекта в демократических странах координации разработки общих стандартов безопасности и ограничения беспрепятственной конкуренции в возможностях моделей.
Некоторая координация между предприятиями может быть ограничена антимонопольным законодательством, поэтому правительству необходимо обеспечить институциональную поддержку. Амодей утверждал, что после того, как достаточное количество компаний примут внешний надзор, отрасль сможет разработать поддающиеся проверке механизмы замедления, основанные на возможностях моделей и процессах обучения.
Третий этап предполагает международную координацию. Амодей предложил демократическим странам обсудить общие правила безопасности с правительствами других стран, включая авторитарные страны, начиная с областей, представляющих общий интерес, таких как запрет на использование искусственного интеллекта для разработки биологического оружия.
Возможности модели могут улучшаться быстрее, чем контроль рисков
Амодей заявил, что недавнее расширение возможностей моделей искусственного интеллекта участвовать в разработке моделей следующего поколения может ускорить технологические итерации. Если возможности моделей продолжат быстро улучшаться, способность людей понимать, оценивать и контролировать связанные системы может отставать от них.
По его оценкам, существенный прогресс может быть достигнут в ближайшие один-два года в таких областях, как интерпретируемость модели, оценка безопасности, исследование согласованности и эксплуатационные спецификации. Надлежащий контроль скорости развития возможностей может выиграть время для этих мер, не требуя от отрасли полного прекращения исследований и разработок в области искусственного интеллекта.
Генеральный директор OpenAI Сэм Альтман позже поддержал введение независимых оценщиков и заявил, что OpenAI примет аналогичные меры. Илон Маск также публично согласился с призывом Амодеи замедлить разработку модели.
Комментарии