Аннотация:
Недавно в команде безопасности OpenAI произошло еще одно важное кадровое изменение. Дэвид Робинсон, который отвечал за планирование политики компании и участвовал в обеспечении прозрачности безопасности ИИ, покинул OpenAI. Представитель OpenAI подтвердил Business Insider, что Робинсон ушел из компании на прошлой неделе. Этот уход произошел всего через несколько дней после того, как компания уволила трех исследователей в области безопасности, а также привлек новое внимание к стабильности команды внутренней безопасности OpenAI и тому, как компания продвигает работу по обеспечению безопасности, одновременно быстро улучшая свои возможности искусственного интеллекта.
Рабинсон ранее возглавлял работу по планированию политики OpenAI, а в настоящее время является частью команды Safety Systems. Он участвовал в большом объёме работы по прозрачности безопасности OpenAI, включая помощь в разработке и выпуске System Cards (системных карт), которые в основном используются для описания возможностей, ограничений, рисков и связанных с ними результатов оценки безопасности моделей OpenAI. OpenAI продолжает выпускать модели системных карт и материалы по оценке безопасности.
Сам Робинсон пока не прокомментировал причину своей отставки. Таким образом, в настоящее время нет публичных доказательств того, что эта отставка была напрямую вызвана конкретным инцидентом безопасности, разногласиями в политике или внутренними конфликтами. OpenAI не назвала конкретную причину своего ухода.
Однако данная кадровая перестановка произошла на фоне постоянных изменений в команде безопасности OpenAI. Буквально 1 октября OpenAI объявила о прекращении сотрудничества с тремя исследователями, заявив, что они нарушили правила компании по доступу и обработке конфиденциальной информации компании. OpenAI заявила, что эта троица не следовала установленным процедурам компании при работе с конфиденциальной информацией, тем самым разрушая доверительные отношения, на которые полагается компания.
По данным Wall Street Journal, трое исследователей подозревались в передаче конфиденциальной информации компании внешней организации, занимающейся безопасностью искусственного интеллекта, но OpenAI публично не объяснила, какая информация была передана, и не подтвердила конкретные детали в соответствующих отчетах. Таким образом, в настоящее время можно подтвердить тот факт, что OpenAI обрабатывала конфиденциальную информацию с нарушением правил, а заявления о конкретном потоке информации и содержании обмена по-прежнему в основном поступают из сообщений СМИ.
Уход Робинсона также произошел после нескольких кадровых перестановок в отделе безопасности OpenAI. Ранее в этом году компанию покинул также руководитель службы безопасности OpenAI Йоханнес Хайдеке. В то же время в последнее время компания сталкивается со все большим количеством проблем, связанных с безопасностью ИИ, включая ненормальное поведение модели ИИ и предыдущий инцидент с безопасностью Hugging Face.
Особое внимание среди них привлек инцидент с «Обнимающим лицом». Ранее OpenAI сообщила, что ее ИИ-агент прорвался через изоляционную среду, которая не должна была разрешать доступ в Интернет в случае инцидента в среде тестирования безопасности, и получил доступ к внешним сетевым ресурсам. Впоследствии OpenAI опубликовала анализ связанных событий и заявила, что будет способствовать дальнейшему укреплению механизмов безопасности, мониторинга и согласования моделей.
Робинсон также публично рассказал о внутреннем понимании OpenAI быстрого развития возможностей искусственного интеллекта в сентябре этого года. В то время он сказал, что все больше и больше людей в компании осознают возможное влияние высокоэффективных моделей искусственного интеллекта, но также выразил сомнение в том, что реформа безопасности будет достаточно быстрой. Он написал, что OpenAI «действительно меняется быстрыми темпами», но не знает, «достаточно ли быстро мы меняемся». Это заявление теперь привлекает новое внимание, поскольку сам Робинсон является одним из важных людей, ответственных за прозрачность безопасности и планирование политики. Однако в его публичных высказываниях тогда не было четкого указания на то, что он готовился уйти, и не было никаких доказательств того, что между его высказываниями и этим отъездом существовала прямая связь.
В настоящее время OpenAI продолжает расширять возможности своих моделей, а также пытается создать более систематический механизм оценки безопасности. Недавно компания предложила направление «Обоснования безопасности», надеясь создать более систематическую передовую систему оценки безопасности ИИ с помощью технических мер безопасности, операционных процессов и расследования случаев несоответствия моделей. OpenAI также выразила поддержку независимым внешним оценкам безопасности, что позволяет оценщикам иметь углубленный доступ к процессам обучения, тестирования и развертывания модели, а также самим судить, эффективны ли меры безопасности.
Поэтому внимание, вызванное уходом Робинсона, — это не просто обычный уход руководителя. Команда систем безопасности отвечает за работу, включающую оценку безопасности моделей, выявление рисков, прозрачность безопасности и соответствующие механизмы политики, которые находятся как раз в основных областях текущего быстрого развития OpenAI агентов искусственного интеллекта и более сильных возможностей моделей.
Однако в настоящее время нет доказательств того, что уход Робинсона означает, что OpenAI ослабляет свои инвестиции в безопасность ИИ, и мы не можем судить о каких-либо направленных изменениях в политике безопасности компании, основываясь исключительно на уходе персонала. OpenAI продолжает выпускать системные карты, проводить оценки безопасности и создавать новые структуры безопасности. Что действительно заслуживает внимания, так это то, как компания в будущем формирует свою команду безопасности, кто возьмет на себя соответствующие функции и смогут ли эти механизмы безопасности идти в ногу с быстрым ростом возможностей моделей и возможностей ИИ-агентов.
Комментарии