Аннотация:
Главный научный сотрудник OpenAI Якуб Пахоцкий предлагает компаниям, занимающимся искусственным интеллектом, согласиться установить ограничения на разработку все более мощных моделей до тех пор, пока у исследователей не появятся лучшие способы понимать и контролировать поведение этих моделей. Пачоцки призвал к созданию общеотраслевых стандартов, которые установили бы границы для разработки ИИ, и компании должны согласиться не расширять эти границы до тех пор, пока не будут выполнены конкретные требования безопасности.

"Я также предлагаю установить общие ограничения на основе недоумения и других мер, при этом разработчики обязуются не нарушать эти ограничения до тех пор, пока наша способность понимать и отслеживать поведение ИИ не достигнет определенного рубежа", - написал Пачоцки. Предложенные Пачоцки ограничения могут быть частично основаны на технической метрике, называемой недоумением, которая измеряет способность модели ИИ предсказывать следующий фрагмент текста. Пачоцкий не уточнил, на каком уровне должны быть установлены первоначальные ограничения и когда они будут реализованы.
Пачоцки предупредил, что уже в 2027 году ИИ может ускорить собственную эволюцию быстрее, чем исследователи смогут улучшить свои способности отслеживать и понимать технологию.
Генеральный директор OpenAI Альтман выразил поддержку этому предложению, назвав статью Пачоцкого «самым важным контентом, выпущенным OpenAI за последнее время». В сообщении на X он сказал, что соглашение об общих ограничениях поможет обеспечить «безопасность и контроль».
Комментарии