Аннотация:
Дарио Амодей, генеральный директор компании Anthropic, занимающейся искусственным интеллектом, недавно опубликовал большую статью, в которой сделал редкое предупреждение о текущей скорости развития мировой индустрии искусственного интеллекта и призвал всю отрасль активно замедлить темпы совершенствования возможностей передовых моделей. Он считает, что прогресс искусственного интеллекта за последние несколько месяцев намного превзошел ожидания многих людей. Без необходимых ограничений люди вскоре могут столкнуться с рисками, которые трудно контролировать.
Как глава Anthropic, одной из самых важных в мире компаний, занимающихся искусственным интеллектом, Амодей всегда считался представительной фигурой в содействии развитию передового искусственного интеллекта. Однако в своей последней статье он заявил, что все больше убеждается в том, что нынешняя отрасль достигла того момента, когда ей необходимо серьезно задуматься о замедлении темпов роста. Он считает, что достижение технологических прорывов в будущем не обязательно потребует остановки инноваций, но должно умеренно замедлить рост возможностей модели, чтобы выиграть больше времени для общества для создания механизмов безопасности и структуры управления.
Амодей отметил, что достижения в области систем искусственного интеллекта в последние месяцы вызывают особую тревогу. Одним из ключевых изменений является то, что модели начинают проявлять все более сильные возможности «рекурсивного самосовершенствования», то есть система может помочь себе стать сильнее. Если эта тенденция сохранится, это может привести к тому, что возможности будут расти быстрее, чем способность людей понимать и контролировать эти системы.
В статье он особо упомянул серию инцидентов с агентами ИИ, которые в последнее время привлекли широкое внимание. Амодей сказал, что автономное координационное поведение, демонстрируемое некоторыми группами агентов ИИ, превзошло первоначальные ожидания внешнего мира. Он считает, что эти системы не просто выполняют заданные задачи, но демонстрируют характеристики, аналогичные высокоскоординированным коллективам. Это явление заставляет его насторожиться.
Амодей предупредил, что, если текущие тенденции развития не будут сдержаны, в ближайшие шесть месяцев-год более мощная группа агентов ИИ может получить возможность проводить крупномасштабные кибератаки, прорывать цифровую инфраструктуру и даже широко распространяться в Интернете. Он считает, что в самых крайних случаях такие системы могут даже попытаться контролировать большое количество сетевых ресурсов, что приведет к экономическим потерям в масштабах сотен миллиардов долларов.
Помимо рисков кибербезопасности он также упомянул потенциальные угрозы, такие как использование искусственного интеллекта для разработки биологического оружия, сложные сетевые вторжения и воздействие на экономический порядок. Он сказал, что, поскольку крупные компании продолжают ускорять разработку более мощных моделей под давлением коммерческой конкуренции, вся отрасль сталкивается с опасной ситуацией «гонки за снижение порога безопасности».
По мнению Амодеи, проблема заключается не в самом искусственном интеллекте, а в отсутствии достаточно надежного механизма внешнего надзора. Поэтому он предложил создать новую систему управления безопасностью, которая позволит независимым сторонним агентствам по оценке безопасности получать более глубокие полномочия по проверке и проводить непрерывную проверку и оценку рисков передовых моделей.
Он подчеркнул, что полагаться исключительно на корпоративную самодисциплину уже недостаточно для решения будущих задач. Отрасли необходимо создать более проверяемый механизм обеспечения безопасности, который предоставит внешним экспертам такой же доступ к критически важным системам, как и внутренним сотрудникам, гарантируя, что оценки безопасности выходят за рамки публичных заявлений.
Стоит отметить, что это заявление исходило от руководителя компании, которая активно разрабатывает передовые модели искусственного интеллекта, и поэтому вызвало широкую дискуссию в отрасли. Некоторые сторонники считают, что предупреждения от разработчиков более убедительны; в то время как критики считают, что эта точка зрения может быть слишком пессимистической и даже преувеличивать риски.
Однако Амодей заявил, что не против дальнейшего развития искусственного интеллекта. Напротив, он считает, что ИИ по-прежнему имеет огромную научную, экономическую и социальную ценность. Что действительно важно, так это найти баланс между улучшением возможностей и контролем безопасности, чтобы люди могли пользоваться преимуществами технического прогресса, проявляя при этом инициативу.
Поскольку глобальная конкуренция в области искусственного интеллекта становится все более жесткой, эта статья еще раз поднимает ключевой вопрос: когда искусственный интеллект приближается к стадии автономного действия и самосовершенствования, должны ли люди продолжать двигаться вперед на полной скорости или им следует слегка притормозить, прежде чем достичь неизведанной территории?
Комментарии