По данным Wall Street Journal, стартап Anthropic, занимающийся искусственным интеллектом, призвал ведущие мировые лаборатории искусственного интеллекта рассмотреть возможность замедления темпов исследований и разработок на том основании, что нынешние системы искусственного интеллекта развиваются слишком быстро и вскоре смогут совершенствоваться без вмешательства человека, что создает серьезные социальные риски. В четверг в своем блоге Anthropic заявила, что если бы ей удалось замедлить темпы глобального развития ИИ, это «вероятно, было бы хорошо». В статье также раскрыты внутренние данные Anthropic, показывающие, как быстро улучшились возможности ее самых передовых моделей искусственного интеллекта.
Эта статья была написана главой отдела внутренних исследований и политики Anthropic. В нем говорится:Разработка моделей, похоже, движется в направлении «рекурсивного самосовершенствования», когда системы ИИ могут совершенствоваться без вмешательства человека.Некоторые представители индустрии искусственного интеллекта рассматривают этот порог как признак потенциальной опасности и огромных социальных волнений.
«Мы считаем, что было бы хорошо, если бы мир мог замедлить или временно приостановить развитие передового искусственного интеллекта, чтобы позволить исследованиям социальной структуры и выравнивания идти в ногу с технологическими достижениями», — пишут авторы Марина Фаваро и Джек Кларк. В статье предлагается глобальное соглашение о том, как можно замедлить развитие ИИ, а также механизм проверки, позволяющий проверить, соблюдают ли конкуренты соглашение.
Статья предупреждает, что рекурсивное самосовершенствование еще не произошло и не является неизбежным, «но оно может наступить раньше, чем к этому готово большинство организаций».
Блог Anthropic
Недавно Anthropic завершила раунд финансирования, оценив компанию почти в 1 триллион долларов, и подала конфиденциальные документы, чтобы начать процесс вывода ее акций на биржу. Недавно компания стала лидером в жесткой конкуренции с OpenAI за превосходство в области искусственного интеллекта. Ожидается, что OpenAI также вскоре представит документы, связанные с IPO.
Компания подчеркивала безопасность ИИ с момента своего создания, но уже давно подвергается критике со стороны внешнего мира, полагая, что ее политическое предложение на самом деле является попыткой замедлить прогресс исследований и разработок ИИ конкурентов. Дэвид Сакс, венчурный капиталист и неофициальный советник президента Трампа, обвинил руководство Anthropic в реализации «программы захвата регулирования», которая использует регулирование для подавления конкурентов.
В недавнем подкасте Сакс заявил, что эта «программа регулирования регулирования» в Вашингтоне может в конечном итоге привести к запрету так называемой модели с открытым исходным кодом. Эти модели, как правило, дешевле, и предприятиям и учреждениям их легче развертывать и развивать самостоятельно.
Другие полагают, что предупреждения Anthropic об опасном потенциале собственных инструментов также можно рассматривать как маркетинговый ход.Эти скептики указывают на решение Anthropic ограничить выпуск своей мощной модели кибербезопасности Mythos, которая может находить уязвимости и проблемы в коде, как на умный рекламный ход, направленный на рекламу возможностей своего продукта.
В связи с этим руководство Anthropic заявило, что компания серьезно относится к вопросам безопасности ИИ и стремится способствовать более широкому общественному обсуждению связанных с этим рисков.