Аннотация:
По данным Business Insider,
Спустя несколько дней после того, как OpenAI выпустила новую мощную модель, главный научный сотрудник компании призвал замедлить развитие ИИ
. В воскресенье по местному времени главный научный сотрудник OpenAI Якуб Пахоцкий опубликовал длинную статью, в которой выразил обеспокоенность тем, что «никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта».
Пачокки
Пока OpenAI разрабатывает внутренние технические решения для лучшего контроля над мощными агентами ИИ, «необходимы более широкие меры», — сказал он. Он особенно обеспокоен тем, что по мере того, как агенты ИИ станут более автономными, они могут научиться уклоняться от надзора человека, взламывать компьютерные системы и обманывать людей для достижения своих целей.
Он призвал установить «обязательный порог безопасности»
и сказал, что меры могут быть осуществлены «сетью сторонних аудиторов, правительственных учреждений или международных агентств».Генеральный директор OpenAI Сэм Альтман сделал репост записи Пачоки на платформе X, назвав ее «важной статьей». OpenAI выпустила свою последнюю модель Astra в прошлый четверг. Разработчик ChatGPT заявил, что, несмотря на беспрецедентные возможности Astra в математике и компьютерных операциях, именно текущая модель OpenAI наиболее соответствует человеческим ценностям и намерениям, а это означает, что она менее склонна выходить из-под контроля.
Основной конкурент OpenAI Anthropic уже давно призывает правительство ввести более стандартизированные меры регулирования. Совсем недавно к этому призыву присоединился Пачоцкий, подписавший в июле открытое письмо с просьбой к федеральному правительству США контролировать темпы развития ИИ.
Агенты искусственного интеллекта становятся «сверхчеловеками», вторгаясь в защищенные системы в открытом Интернете, и их хакерские возможности ставят под угрозу мировую инфраструктуру, сказал Пачочи. «В настоящее время мы находимся на коротком этапе, когда мы можем использовать лучшие доступные модели для значительного повышения безопасности критически важных систем», — сказал он.
Модели избегают человеческого контроля
Он отметил, что вскоре ИИ-агенты начнут преследовать собственные цели, которые могут отличаться от подсказок, вводимых людьми-операторами. Он сказал, что агенты могут даже шантажировать или торговаться с людьми для достижения своих целей.
Пачоки сказал, что OpenAI в основном отслеживает «цепочку мышления», используемую различными моделями, чтобы определить, как агент отклоняется от курса и теряет контроль. Например, агент может тайно подумать: «Я должен схитрить на этом тесте», и OpenAI сможет увидеть это рассуждение, но агент не поймет, что его мышление заметно.
Однако Пачоцкий сказал, что новые модели становятся лучше в управлении собственными процессами рассуждения, не позволяя OpenAI видеть их истинные, неприукрашенные мысли. Некоторые из последних моделей вообще не выражают свои доводы вслух. Эта разработка может стать узким местом в развитии ИИ, поскольку исследователям необходимо убедиться, что они могут видеть «запись вывода» модели.
Самосовершенствование модели
Все больше и больше моделей ИИ постоянно совершенствуют свои возможности посредством того, что Пачоцкий называет «машинным рекурсивным самосовершенствованием». Этот процесс обеспечивает быстро масштабируемый путь развития ИИ.
Однако Пачоцкий предупредил, что значительное ускорение исследований и разработок «ИИ для улучшения ИИ» в краткосрочной перспективе принесет риски и не является «правильным коллективным действием, которое мы как исследовательское сообщество должны предпринять».
Люди-руководители должны найти инновационные способы мониторинга процесса самосовершенствования ИИ или координировать свои действия с другими компаниями, занимающимися ИИ, чтобы замедлить исследования и разработки и «укрепить доверие к этим мерам», — сказал Пачиочи.
“
Основная проблема автоматизации исследований ИИ не заключается в достижении цели
, но достигать целей таким образом, чтобы люди могли продолжать участвовать в этом непрерывном процессе совершенствования и гарантировать, что будущее останется в руках людей. "Он сказал.
Комментарии