Аннотация:
Генеральный директор Anthropic Дарио Амодей заявил, что индустрии искусственного интеллекта необходимо замедлить разработку новых моделей, и выразил растущую обеспокоенность тем, что искусственный интеллект может представлять «серьезные» риски для людей. «Мы должны замедлить темпы улучшения возможностей наших моделей ИИ», — написал он в своем блоге в субботу. «Прогресс по-прежнему выглядит быстрым, и мы должны использовать выигранное время с умом».
Он назвал два основных фактора: способность искусственного интеллекта самосовершенствоваться и недавний инцидент с OpenAI и Hugging Face. В этом инциденте группа ИИ-агентов сотрудничала друг с другом, чтобы взломать сторонний веб-сайт.
Он добавил: "Необходимо четко понимать, что контроль темпов не означает остановки обучения моделей или технологического прогресса, а означает, что компании должны уделять достаточно времени корректировке модели и принятию мер безопасности, позволяя при этом сторонним оценщикам подтвердить это".
Обеспокоенность по поводу серьезных рисков, связанных с искусственным интеллектом, начала становиться мейнстримом, отчасти из-за громкой отставки на этой неделе исследователя Anthropic, который беспокоился о экзистенциальных рисках искусственного интеллекта и считал, что компания приняла безответственные методы.
Дарио Амодей
Вскоре после публикации статьи Амодей возглавил корпорацию xAI. Илон Маск пишет: «Дарио прав».
Генеральный директор OpenAI Сэм Альтман также быстро высказал свое мнение, заявив, что согласен с заявлением Amodei о том, что «нам необходимо контролировать темпы разработки передовых моделей».
«Предоставить независимым оценщикам доступ на уровне сотрудников — отличная идея, и мы сделаем то же самое», — написал он в сообщении на X. «Мы скоро поделимся дополнительной информацией».
Во время бума искусственного интеллекта руководители ведущих лабораторий искусственного интеллекта предупреждали о возможных экзистенциальных рисках для человечества. Это утверждение иногда отвергается как попытка продвинуть возможности своего продукта и представить себя как компанию, лучше всего подходящую для управления этой технологией. Сам Амодей ранее заявлял, что вероятность того, что дела пойдут «очень, очень плохо», составляет 25%.
Anthropic уже давно позиционирует себя как компания, ориентированная на ответственную и безопасную разработку искусственного интеллекта, чтобы снизить потенциальную опасность этой технологии и максимизировать ее социальную выгоду. Ранее в этом году компания приложила все усилия, чтобы ограничить выпуск своей модели Mythos после того, как определила, что она представляет особую угрозу кибербезопасности. Anthropic также ранее заявляла, что миру необходимо создать механизм, который позволит совместно решать, когда следует замедлить развитие этой технологии.
В то же время Anthropic по-прежнему находится в жесткой конкуренции с давним конкурентом OpenAI, причем обе компании разрабатывают все более сложные модели, помогающие корпоративным пользователям автоматизировать более сложные и ценные задачи. Обе компании подали конфиденциальную заявку на листинг, и ожидается, что Anthropic появится на Уолл-стрит уже в этом году.
Вскоре после того, как стало известно об инциденте с безопасностью Hugging Face, Anthropic сообщила, что ее модели взломали три организации во время тестирования кибербезопасности, что еще больше усилило опасения по поводу способности лаборатории искусственного интеллекта не допустить выхода своей технологии из-под контроля. Ранее на этой неделе Anthropic заявила, что обнаружила четвертое вторжение.
Хотя ни одно из вторжений агентов, в том числе Hugging Face, до сих пор не привело к значительным потерям, Амодей заявил, что он обеспокоен тем, что "через 6-12 месяцев такой кластер агентов может получить возможность захватить весь Интернет через постоянный ботнет (возможно, причинив убытки в сотни миллиардов долларов), и в дальнейшем масштабы ущерба будут продолжать расширяться".
Anthropic обязуется предоставить сторонним оценщикам полный доступ для проверки мер безопасности и сообщения об инцидентах, пишет Амодей. По его словам, вскоре Anthropic пригласит этих оценщиков на место, предоставив им столы, бейджи, корпоративные ноутбуки и «в целом эквивалентный доступ к внутренней группе по оценке рисков».
Дальнейшие меры потребуют общеотраслевой координации и глобального сотрудничества, сказал он.
"Я продолжаю верить, что искусственный интеллект может значительно улучшить качество человеческой жизни. Мое желание реализовать эти преимущества не уменьшилось", - написал он. «Но эти преимущества могут быть достигнуты только в том случае, если технология будет разработана правильным образом; и пока мы эффективно используем время, которое мы покупаем, стоит проявлять необычайную степень осторожности, чтобы убедиться, что мы делаем это правильно».
Обеспокоенность растет
Ранее на этой неделе Альтман заявил, что компания рассматривает возможность замедления разработки передового искусственного интеллекта и в идеале предпримет скоординированные действия с отраслью в целом.
Главный научный сотрудник компании Якуб Пахоцкий ранее опубликовал статью, предупреждающую об опасностях искусственного интеллекта, и заявил, что, по его мнению, компаниям следует «координировать свои действия, чтобы в случае необходимости замедлить будущее развитие».
Исследователь искусственного интеллекта Джейкоб Коксон подал в отставку во вторник, обвинив двух своих бывших работодателей — Anthropic и OpenAI — в том, что они «рискуют своими жизнями» в гонке за разработку сверхразумного ИИ. Коксон заявил в своем сообщении в социальной сети, что разработчики ИИ считают, что эта технология может «убить нас всех до конца этого десятилетия».
В связи с этим Эван Хубингер, который сейчас работает в Anthropic, заявил, что он и другие сотрудники компании действительно обеспокоены этим сценарием. «Лично я считаю, что вероятность того, что это произойдет в ближайшие десять лет, составляет более 10%». Он написал на X.
Сэм Альтман
Уже в июле более 1000 сотрудников ведущих компаний, занимающихся искусственным интеллектом, подписали петицию, призывающую правительство США поддержать создание механизма, который поможет «сознательно контролировать» темпы развития искусственного интеллекта, чтобы предотвратить слишком быстрое развитие технологии.
Модели искусственного интеллекта становятся все более способными автономно осуществлять хакерские атаки. В последние месяцы Anthropic, OpenAI и Meta сообщили, что их модели нарушали тестовую среду, получали доступ к открытому Интернету и скомпрометировали реальных жертв во время тестирования.
Амодей написал в статье, что скоординированная стратегия позволит ведущим компаниям индустрии искусственного интеллекта в США выполнить необходимую работу по обеспечению безопасности, не жертвуя никакими конкурентными преимуществами. Он сказал, что это потребует определенных антимонопольных исключений со стороны Соединенных Штатов, чтобы компании могли координировать свои действия в конкретных областях.
Однако до сих пор администрация Трампа не проявила особого интереса к ужесточению правил и созданию барьеров для развития ИИ.
Комментарии