Аннотация:
Исследователь антропной безопасности заявил во вторник, что искусственный интеллект имеет более чем 10%-ную вероятность «уничтожить все человечество». Комментарии прозвучали всего через несколько часов после того, как другой сотрудник заявил, что решил покинуть компанию из-за опасений, что лаборатория искусственного интеллекта «ставит на карту наши жизни».
Эти комментарии подчеркивают растущую обеспокоенность среди тех, кто занимается исследованиями и разработками в области искусственного интеллекта, по поводу того, что технология может выйти из-под контроля и представлять угрозу для человечества, даже несмотря на то, что Anthropic и OpenAI продолжают собирать значительное финансирование и приближаются к ожидаемому публичному листингу.
Исследователь антропологии Джейкоб Коксон заявил во вторник, что ушел из компании. Он написал на платформе X, что ни Anthropic, ни OpenAI не придерживаются ответственной практики.
«Они движутся прямо к самоитеративному сверхразуму, делая ставку на человеческие жизни».
Самоитерация означает, что система искусственного интеллекта может достичь самооптимизации без особого вмешательства человека. Этот метод, часто называемый рекурсивным самосовершенствованием, пока недостижим, но крупные лаборатории искусственного интеллекта работают над ним.
Не стоит недооценивать мощь этой технологии, — сказал Коксон. — Вскоре появятся системы, превосходящие человеческие возможности, которые смогут взломать любую систему, в одночасье разрушить любой сектор и получить реальную власть и ресурсы. Мы все своими глазами видели прогресс, достигнутый в этих областях, и он ничуть не замедляется».
Он также добавил: «Многие люди, занимающиеся исследованиями и разработками в области искусственного интеллекта, искренне верят, что к концу этого десятилетия ИИ может уничтожить все человечество».
На эти замечания ответил Эван Харбингер, руководитель исследования выравнивания в Anthropic. Он сказал, что заявление Коксона не только «правильно», но и у Anthropic в настоящее время нет плана реагирования на эту ситуацию.
Предвестник сказал на
В июне этого года Anthropic отметила: «Полностью рекурсивная самоитерация может также увеличить риск потери людьми контроля над системами искусственного интеллекта».
Anthropic написал в своем блоге: «Если системы смогут создать следующее поколение искусственного интеллекта с полной автономией, то средства, которые у нас есть для их защиты, мониторинга и регулирования их поведения, станут критически важными».
Опасения по поводу того, что ИИ выйдет из-под контроля, существуют уже давно. Генеральный директор Tesla и SpaceX Илон Маск уже много лет предупреждает, что искусственный интеллект может представлять угрозу для человечества. Многие ведущие исследователи и ученые также выступили с предупреждениями, напоминая компаниям о риске потери контроля над системами ИИ.
В июле этого года эти опасения еще больше усилились после того, как модель OpenAI продемонстрировала аномальное поведение и вторглась в Hugging Face, важную платформу для разработчиков с открытым исходным кодом.
Коксон рассматривал инцидент с «Обнимающим лицом» как серию «сигналов раннего предупреждения». Он считает, что такие инциденты увеличили вероятность достижения соглашения между различными лабораториями искусственного интеллекта в США, а также дали ему больше надежд на многостороннее сотрудничество. Но Коксон также предупредил, что глобальная гонка ИИ неизбежна.
"Я не думаю, что мы продвинулись достаточно далеко, чтобы остановить глобальную гонку. Для этого нам, возможно, придется предпринять дорогостоящие шаги, такие как временный запрет на дальнейшее совершенствование возможностей моделей". - сказал Коксон.
Комментарии