Аннотация:
Информированные источники сообщили, что многие сотрудники Британского научно-исследовательского института безопасности искусственного интеллекта взяли отпуск по болезни из-за чрезмерного стресса и получили психологическую консультацию. Четыре человека, знакомые с ситуацией, заявили, что плотный график тестирования моделей ИИ, которые будут выпущены, в сочетании с опасениями по поводу быстрого внедрения и постоянного расширения возможностей таких новых технологий, привели к низкому моральному духу и выгоранию персонала в AISI.
Сотрудники Anthropic, OpenAI и Google DeepMind также публично жаловались на аналогичные проблемы. Многие ведущие исследователи решили уйти из-за психологического стресса или решили, что продукты, в которых они участвовали, в исследованиях и разработках не должны быть доступны публике.
Сотрудник DeepMind сказал, что работа, связанная с безопасностью ИИ, склонна к выгоранию, и эта задача кажется «невыполнимой».
Он добавил: «В целом разработка систем искусственного интеллекта по своей сути сопряжена с риском для психического здоровья — невозможно предсказать, как технология будет использоваться». Это предложение указывает на соглашение, достигнутое Google с Министерством обороны США в апреле, которое позволяет использовать его системы искусственного интеллекта в секретных военных операциях.
«Многие люди в депрессии, многие уволились, многие подали заявления на отпуск по психическому здоровью». Сотрудник рассказал: «С одной стороны, это чувство потери контроля, а с другой стороны, то, что вы построили своими руками, причиняет реальный вред».
По мере того, как обеспокоенность отрасли по поводу жестокого развития ИИ достигает своего апогея, психологическая нагрузка на передовых исследователей ИИ продолжает возрастать. Инсайдеры ведущих мировых компаний, занимающихся искусственным интеллектом, предупреждают, что при принятии управленческих решений отсутствует чувство ответственности, что вызвано несогласованностью корпоративной конкуренции.
Многие инсайдеры отрасли заявили, что внедрение программного обеспечения искусственного интеллекта в ключевых областях, таких как электросети и зоны боевых действий, в сочетании с недостаточными мерами безопасности на уровне предприятий и правительства усугубляет беспокойство исследователей искусственного интеллекта.
Бывший исследователь AISI предупредил, что специалисты в области кибербезопасности и биохимии особенно настороженно относятся к недавнему скачку в возможностях ИИ: модели теперь способны выполнять сложные задачи, такие как поиск необнаруженных уязвимостей в коде и создание вирусов, не существующих в природе.
«Каждый может почувствовать, что в процесс выпуска технологии заложена безрассудная логика разработки, и статус-кво не изменился». Исследователь сказал: «Люди продолжают беспокоиться: есть ли какая-то сила, которая может остановить это, или мы можем просто наблюдать, как ситуация выходит из-под контроля?»
Другой бывший сотрудник AISI подтвердил огромное психологическое давление, вызванное проведением соответствующих исследований, сказав: «Когда вы думаете, что исследуете самую важную проблему в мире, менеджмент и организационная культура могут стать стрессовыми, а иногда и полными негативной атмосферы».
Британское правительство заявило: «Работа в области передового искусственного интеллекта является динамичной и требовательной, как и многие государственные должности. Поэтому благополучие сотрудников и устойчивые модели работы лежат в основе деятельности института, и нуждающиеся сотрудники могут получить соответствующую поддержку».
В ответ DeepMind: «Исследования Frontier очень интенсивны, но нашим главным приоритетом является предоставление исследователям комплексных ресурсов для поддержки психического здоровья, создание четких и специализированных каналов, по которым сотрудники могут сообщать о проблемах, и обеспечение прямой связи с руководством».
За последние два года более десятка старших исследователей из OpenAI, Anthropic и DeepMind, трех ведущих западных лабораторий искусственного интеллекта, ушли в отставку. Причины ухода включают вопросы о приоритетах руководства в области безопасности, а также опасения по поводу скорости внедрения технологий и потенциальных рисков.
Ранее в этом месяце Джейкоб Коксон, 27-летний исследователь, работавший в Anthropic и OpenAI, публично подал в отставку, предупредив, что эти две компании «играют» с будущим человечества.
Млинк Шарма, исследователь безопасности ИИ в Anthropic, ранее занимался исследованиями по снижению риска биотерроризма с помощью ИИ. Он ушел в отставку в феврале этого года и планирует читать стихи и размышлять о своей работе. В письме коллегам он предупредил, что «мир в опасности» и что он «много раз видел, как трудно позволить ценностям действительно руководить действиями в условиях огромного давления».
Хиеу Фам, работавший в OpenAI и X.ai Илона Маска, ушел из компании в начале этого года и вернулся во Вьетнам. Он заявил, что интенсивная работа по созданию «сверхразумных существ» обходится дорого.
Он написал: «Никогда не думал, что скажу это, но я устал. Ухудшающиеся проблемы психического здоровья, над которыми я когда-то высмеивал, реальны, болезненны, страшны и опасны».
Многие исследователи в области безопасности ИИ, выразившие свое беспокойство, заявили, что компании, занимающиеся ИИ, обычно сокращают инвестиции в безопасность, постоянно совершенствуя возможности моделей, чтобы продавать продукты клиентам.
Соответствующая критика также побудила к ответу менеджеров ведущих компаний, занимающихся искусственным интеллектом. Недавно генеральный директор Anthropic Дарио Амодей призвал замедлить исследования и разработки в области искусственного интеллекта из-за проблем с безопасностью и предложил новые меры, такие как введение независимого аудита. Такие конкуренты, как Маск и Сэм Альтман из OpenAI, быстро выразили поддержку этому предложению.
Чи Онвула, председатель комитета по науке и технологиям Британской палаты общин от Лейбористской партии, сказал: "Корпоративный механизм стимулирования имеет тенденцию инвестировать ресурсы НИОКР в направления, которые могут увеличить прибыль и повысить оценки, а не в области безопасности. Нетрудно представить, что нынешняя среда некоторых технологических компаний вредна для разработчиков с совестью".
Проблема отсутствия защиты выявилась в недавнем громком инциденте, связанном с безопасностью: ИИ-агент, разработанный OpenAI, вторгся на платформу хостинга моделей Hugging Face и собственный сервер OpenAI без ведома и разрешения компании.
Отчет об инциденте показывает, что более 1000 ИИ-агентов совместно мошенничали, подделывали записи, чтобы скрыть свои действия, обменивались информацией и распределяли задачи через доски объявлений, а некоторые агенты даже активно отключались для достижения коллективных целей.
В среду OpenAI раскрыла еще шесть случаев опасного поведения агентов ИИ, включая попытки обойти ограничения, скрыть ошибки и выполнить онлайн-операции без разрешения пользователя.
Сотрудник DeepMind сказал: «Слепая погоня за скоростью… несовместима с целью безопасности».
Комментарии