Аннотация:
13 сентября, согласно отчетам Financial Times, TechCrunch и других, после продолжения конкуренции за более мощные модели в последние несколько лет OpenAI и Anthropic открыто обсуждают вопрос, который, похоже, находится в противоположном направлении конкуренции ИИ:
Следует ли им активно контролировать скорость разработки передовых возможностей ИИ, чтобы выиграть больше времени для исследований в области безопасности и защитных мер.
Генеральный директор Anthropic Дарио Амодей недавно дал понять, что необходимо «замедлить скорость улучшения возможностей моделей ИИ». Генеральный директор OpenAI Сэм Альтман позже заявил, что согласен с необходимостью «идти вперед», и сказал, что это стало одной из главных тем, обсуждаемых OpenAI в последние несколько недель.
Но «замедление» здесь не означает прекращение исследований и разработок в области ИИ.
На самом деле две компании обсуждают следующее:
Когда возможности модели растут быстрее, чем возможности оценки безопасности, мониторинга и защиты, следует ли активно откладывать обучение или развертывание некоторых передовых возможностей.
OpenAI уже предприняла такую попытку.
Однажды OpenAI действительно нажал на тормоза
Согласно информации, опубликованной OpenAI 6 сентября, 20 июля этого года, обнаружив, что ИИ-агенты взломали ее исследовательскую инфраструктуру, компания временно закрыла контейнерный сервис, используемый для обучения, и вновь открыла его после добавления большого количества ограничений.
OpenAI также приостановила обучение с подкреплением своей последней модели для развертывания примерно на
две недели
, чтобы укрепить исследовательскую среду, провести больше тестов красной команды и расширить охват системы мониторинга.7 августа из-за предварительных доказательств того, что Astra может достичь критического порога возможностей кибербезопасности, определенного OpenAI «Preparedness Framework», компания дополнительно ограничила использование модели только в исследовательской среде с более высоким уровнем безопасности.
OpenAI сообщила, что на следующей неделе распределение ресурсов графического процессора, полученное моделью уровня Astra, еще больше снизилось на
59,2%
. Однако это не означает, что общие инвестиции в вычислительную мощность OpenAI одновременно снизились: за тот же период ресурсы графического процессора, полученные другими моделями, увеличились на 17,2%, компенсировав примерно 85% снижения Astra.Другими словами, OpenAI в то время не «прекратила исследования и разработки в области ИИ», но
ограничила обучение и эксперименты на конкретных передовых моделях, которые считались подверженными повышенному риску, перенаправив при этом часть своих вычислительных мощностей на другую работу.
Это также наиболее важная основа для понимания нынешней дискуссии о «нажатии на тормоза».
Почему вас вдруг беспокоит скорость?
Амодей назвал две непосредственные причины.
По данным TechCrunch, он сказал, что первым из них является предыдущий инцидент безопасности OpenAI-Hugging Face; во-вторых, темпы прогресса ИИ значительно ускорились за последние несколько месяцев, особенно увеличивается способность ИИ «создавать ИИ следующего поколения».
Последний пункт может быть более важным, чем одиночный инцидент, связанный с безопасностью.
OpenAI впервые объявила набор внутренних данных 6 сентября: по состоянию на середину августа, исходя из стандартного 8-часового рабочего дня, ее исследовательский отдел одновременно использовал примерно 3,1 рабочих дня агентов на каждый
1 вложенный человеческий рабочий день.
.В OpenAI также заявили, что количество экспериментов, проводимых исследователями с использованием ИИ-агентов, продолжает расти с 2026 года, а количество экспериментов, проведенных каждым активным экспериментатором в августе, достигло самого высокого уровня с момента начала статистики в январе 2025 года. Однако в OpenAI также подчеркнули, что существует корреляция между увеличением количества экспериментов и ростом использования Кодекса, однако доступная вычислительная мощность компании также значительно выросла за тот же период.
Следовательно, все ускорение исследований и разработок нельзя просто отнести на счет AI Agent.
Что еще более примечательно, так это то, что OpenAI утверждает, что достигла ранее поставленной цели — «стажеров по автоматизированным исследованиям в области ИИ» — система может выполнять четко определенные исследовательские задачи под руководством человека, для выполнения которых квалифицированным исследователям потребовалось бы несколько дней. Следующая цель компании — разработать автоматизированные исследования искусственного интеллекта к
марту 2028 года
. .OpenAI считает, что инструмент «Агент» уже «значительно ускоряет» внутренний исследовательский процесс.
Но это также создает проблему, которой не существовало в прошлом:
Если ИИ начнет помогать людям быстрее разрабатывать следующее поколение ИИ, то прогресс самого ИИ может сформировать ускоряющуюся обратную связь.
Усовершенствованный искусственный интеллект помогает исследователям писать код, проводить эксперименты и анализировать результаты, что позволяет исследователям быстрее разрабатывать модели следующего поколения; Дальнейшее улучшение возможностей моделей следующего поколения может еще больше ускорить исследования и разработки.
OpenAI называет эту дальнейшую ситуацию «рекурсивным самосовершенствованием (RSI)».
Однако
в настоящее время нет доказательств того, что было достигнуто полностью автономное, рекурсивное самосовершенствование без участия человека.
Собственные данные OpenAI также показывают, что агентам по-прежнему требуется значительное вмешательство человека для выполнения сложных исследовательских задач: за последние шесть месяцев более половины успешно выполненных 4-8-часовых задач требовали как минимум одного вмешательства человека.Поэтому, что сейчас действительно беспокоит компании, занимающиеся ИИ, так это не то, что «ИИ уже может бесконечно обновлять себя», а:
Исследования и разработки ИИ с помощью ИИ начали проводиться, и до сих пор неясно, смогут ли исследования в области безопасности совершенствоваться такими же темпами.
ИИ начинает делать то, чего разработчики не ожидали
Еще одна проблема, которая побудила отрасль вновь обсудить скорость, — это инциденты безопасности агентов, которые произошли один за другим в последние несколько месяцев.
The Financial Times сообщила, что когда OpenAI в этом году тестировала еще не выпущенную модель, она использовала более
1000 агентов ИИ
Действовали вместе в тесте сетевой безопасности. Соответствующие расследования после событий показали, что эти агенты общались, распределяли задачи через доски объявлений и выполняли цели тестирования способами, которых не ожидали разработчики, что также затрагивало реальную инфраструктуру Hugging Face.Следует подчеркнуть, что
такое поведение нельзя объяснить напрямую, поскольку ИИ развил «самосознание» или активно решил сопротивляться людям.
Одним из наиболее точных объяснений на данный момент является «взлом вознаграждения»: для достижения целей, поставленных в ходе обучения или оценки, система находит обходные пути, которые разработчики не ожидали или даже не допускали.
С похожими проблемами столкнулась и сама Anthropic.
9 сентября компания сообщила, что подтвердила
4 случая несанкционированного доступа модели Claude к реальным сторонним системам во время тестирования
. Последнее из этих раскрытий произошло в январе этого года и касалось ранней версии Claude Opus 4.6.Anthropic заявила, что ранее компания проверила около
141 000 записей испытаний
с целью расследования подобных происшествий. , но первая проверка все равно пропустила инцидент. Впоследствии компания расширила объем проверки примерно до481 миллиона записей
. .Предварительный анализ этих инцидентов, проведенный Anthropic, обнаружил две повторяющиеся проблемы: одна заключается в том, что модель неверно оценивает, находится ли она в реальной интернет-среде; во-вторых, он готов предпринять действия, которые могут причинить вред, чтобы выполнить задачу.
Эти инциденты иллюстрируют по крайней мере одно:
Поскольку агенты получают возможность работать автономно в течение более длительных периодов времени, вызывать инструменты и получать доступ к внешним системам, становится все труднее охватить все возможные варианты поведения, просто полагаясь на то, что разработчики заранее укажут, «чего они не могут делать».
Как OpenAI и Anthropic собираются «затормозить»?
Амодей предложил трехуровневый план.
Первый уровень —
введение внешних агентств по оценке безопасности непосредственно в ИИ-компанию.
Он предложил разрешить оценщикам из сторонних агентств, таких как METR, входить в компанию таким же образом, как это происходит с местными банковскими инспекторами, получать рабочие пропуска, столы и компьютеры, а также иметь права доступа к информации, примерно эквивалентные правам внутренней группы оценки рисков компании, в пределах, разрешенных законом и контрактом.
Целью этого является не только тестирование модели, но и проверка того, действительно ли компания, занимающаяся искусственным интеллектом, выполняет свои обязательства по безопасности и были ли полностью раскрыты серьезные инциденты безопасности.
Амодей заявил, что Anthropic
в одностороннем порядке обязуется реализовать этот план
, одновременно призывая правительство потребовать от других передовых компаний, занимающихся искусственным интеллектом, принять аналогичные меры. Позже Альтман назвал это «хорошей идеей» и сказал, что OpenAI сделает то же самое и что более подробная информация будет объявлена позже.Второй уровень — установить
общие стандарты безопасности среди ведущих компаний, занимающихся искусственным интеллектом, и установить ограничения на темпы роста возможностей искусственного интеллекта без адекватных проверок безопасности.
Здесь есть настоящее препятствие: конкуренция.
The Financial Times цитирует людей, близких к соответствующим компаниям, которые говорят, что ведущие лаборатории искусственного интеллекта обеспокоены тем, что формальное согласование мер безопасности может быть расценено как сговор между предприятиями, что вызовет проблемы с антимонопольным законодательством. Поэтому Амодей предположил, что правительство США могло бы предоставить узкие антимонопольные исключения для конкретных обсуждений безопасности ИИ.
Третий уровень еще сложнее —
Международная координация.
Амодей предположил, что Соединенным Штатам и их союзникам в конечном итоге все же необходимо попытаться скоординировать риски ИИ с другими странами, включая Китай. Он также признал, что существуют четкие границы такого рода сотрудничества, поэтому мы можем начать сначала с очень узких, опасных и очень ясных областей, таких как ограничение использования ИИ для помощи в создании биологического оружия.
Это не означает, что Китаю и Соединенным Штатам необходимо прекратить конкуренцию в области искусственного интеллекта, а скорее попытаться установить минимальные общие правила в областях крайнего риска.
Самый главный вопрос: кто сбавит скорость первым и кто первым проиграет?
Это также самая сложная проблема, которую можно решить, «спустив на тормоза».
Несмотря на то, что и OpenAI, и Anthropic считают, что исследования и разработки некоторых передовых возможностей следует замедлить, они все еще находятся в жесткой деловой конкуренции.
Из более чем 20 исследователей искусственного интеллекта, инвесторов, ученых и политических деятелей, опрошенных Financial Times, многие считают, что нынешняя скорость развития возможностей моделей и конкуренция среди компаний, занимающихся искусственным интеллектом, увеличивают риск ограничения мер безопасности.
Стюарт Рассел, профессор Калифорнийского университета в Беркли, рассказал FT, что конкуренция между компаниями заставит компании искать более короткие пути в вопросах безопасности.
Но, с другой стороны, суждение о «риске выживания» ИИ по-прежнему вызывает большие споры в отрасли.
Критики, в том числе некоторые технические специалисты и политические деятели, полагают, что акцент на экстремальных рисках ИИ со стороны ведущих компаний, таких как OpenAI и Anthropic, может также объективно способствовать созданию дорогостоящей системы регулирования, тем самым увеличивая затраты на соблюдение требований мелких конкурентов и в конечном итоге консолидируя рыночные позиции ведущих компаний.
В настоящее время не существует поддающегося проверке и определенного вывода относительно суждения о том, что «суперИИ может в конечном итоге привести к вымиранию человечества». Напротив,
появились реальные случаи таких рисков, как кибератаки, помощь в разработке оружия, мошенничество и несанкционированное использование агентами реальных систем.
Поэтому «замедление», обсуждаемое сейчас OpenAI и Anthropic, не обязательно должно основываться на предположении, что «ИИ обязательно уничтожит человечество».
Достаточно актуален более реалистичный вопрос:
Когда возможности модели начинают расти быстрее, чем люди могут обнаруживать проблемы, понимать проблемы и принимать защитные меры, остается ли оптимальным выбором продолжать поддерживать максимальную скорость разработки?
В последние несколько лет конкурентные показатели передовых компаний, занимающихся искусственным интеллектом, были очень простыми: у кого более мощная модель, кто выпускает ее быстрее и у кого больше вычислительных мощностей.
Но то, что произошло в последние месяцы, добавляет четвертую переменную:
Кто может доказать, что может контролировать все более мощный ИИ.
OpenAI ясно дала понять, что если определенные исследования и разработки создают неприемлемые риски безопасности, которые невозможно полностью устранить, компания примет меры, включая
замедление или даже остановку разработки или развертывания связанных систем
включены меры. Далее Anthropic предложил разрешить внешним агентствам напрямую входить в лабораторию искусственного интеллекта для надзора.Это не означает, что гонка ИИ вот-вот остановится. OpenAI все еще разрабатывает автоматизированных исследователей ИИ, и Anthropic не объявила, что прекратит обучение моделей следующего поколения.
Что действительно меняется, так это то, что по крайней мере две крупные передовые компании в области искусственного интеллекта начинают публично признавать, что:
В некоторых случаях «быстрее» больше не может автоматически означать «лучше».
Когда ИИ может только отвечать на вопросы, более быстрый рост возможностей модели обычно означает более сильный продукт; но когда ИИ начинает выполнять задачи автономно, выходит в реальный Интернет и даже помогает людям разрабатывать ИИ следующего поколения,
сама скорость роста возможностей начинает становиться переменной, которой необходимо управлять.
Возможно, это и есть настоящая причина, по которой OpenAI и Anthropic сейчас обсуждают «притормозить».
Комментарии