Аннотация:
Джейкоб Коксон объявил о своем уходе из Anthropic on X. Он сказал, что последние три года занимался исследованиями перед обучением в OpenAI и Anthropic, но считает, что ни одна из компаний не продвигает разработку ИИ ответственным образом. Вместо этого они «переходят прямо к самосовершенствующемуся сверхинтеллекту» и ставят под угрозу безопасность человечества.
Коксон заявил, что системы искусственного интеллекта, которые в настоящее время создаются в этих закрытых лабораториях, вскоре будут обладать «сверхчеловеческими» возможностями, способными осуществлять хакерские атаки, в одночасье менять структуру определенной области, а также получать власть и ресурсы в реальном мире. Он отметил, что прогресс в соответствующих исследованиях продолжает развиваться во многих направлениях и не демонстрирует явных признаков замедления.
Он также упомянул, что, судя по публичным заявлениям генерального директора OpenAI Сэма Альтмана и генерального директора Anthropic Дарио Амодеи, внешний мир может подумать, что обе компании осторожно продвигают развитие ИИ, но он считает, что это не так. Коксон утверждает, что эти практики в частном порядке верят, что ИИ «может убить нас всех к концу века», и что это не маркетинговые разговоры; он также сказал, что такие руководители, как Альтман и Амодей, изменят свою риторику перед средствами массовой информации, чтобы казаться более сдержанными, но в частном порядке они на самом деле глубоко обеспокоены тем, что создается.
По его мнению, внутренняя культура OpenAI и Anthropic также различна. Коксон сказал, что многие сотрудники OpenAI «не до конца осознают связанные с этим риски на цивилизационном уровне»; в Anthropic соответствующие риски «очень ясны всем», но компания по-прежнему участвует в гонке за то, чтобы первой разработать AGI. Коксон сказал, что Anthropic считает, что, поскольку другие могут действовать не ответственно, ей нужно сначала выиграть гонку.
Коксон считает, что в этом контексте многие ключевые решения не должны приниматься только в Slack в частных компаниях. Он с осторожным оптимизмом смотрит на усиление координации между американскими лабораториями искусственного интеллекта после недавних событий, но полагает, что такое сотрудничество будет неэффективным, если оно распространится на лаборатории за пределами США. С этой целью он предложил рассмотреть вопрос о временном запрете на повышение производительности моделей.
В конце поста Джейкоб Коксон призвал других исследователей лаборатории серьезно задуматься о следующих пяти годах, чтобы не продолжать избегать проблем, а подталкивать развитие ИИ в разных направлениях.
Комментарии