Чего боится элита Кремниевой долины, создавая искусственный интеллект и роя бункеры?

Аннотация:

Десять лет назад Альтман рассказал изданию New Yorker, что заготовил оружие, золото, антибиотики и противогазы, а также оставил участок земли в Биг-Суре, Калифорния, куда он мог бы полететь. Десять лет спустя глава OpenAI объясняет общественности, почему каждый должен принять на себя некоторые риски, связанные с ИИ.

Согласно сообщению Reuters от 4 октября, Альтман заявил в интервью, что

Чтобы воспользоваться огромными преимуществами ИИ и сохранить автономию людей в использовании технологий, общество должно терпеть возникновение некоторых «плохих вещей», таких как хакерские атаки, мошенничество и злоупотребление технологиями.

Призывая общественность к риску и в то же время тайно готовя себе отступление, это не уникальная операция одного только Ультрачеловека. По сообщениям таких СМИ, как Wall Street Journal, некоторые первые сотрудники Anthropic также рассматривают возможность покупки земли в отдаленных районах США, чтобы они могли быстро эвакуироваться, «когда возникнут проблемы с ИИ».

Они твердо верят, что технологии могут изменить мир, но глубоко боятся, что не смогут справиться с последствиями потери контроля.

Эта группа людей, которые лично нажимали кнопку акселератора времени, описывая на пресс-конференции лучшее будущее, тайно заливали подземные крепости в глуши. За пределами крепости живут обычные люди, которые понятия не имеют о том, что происходит, и не могут этого предотвратить.

Путь эвакуации в роскошном бункере

На гавайском острове Кауаи основатель Meta Марк Цукерберг строит высокий забор для своего ранчо Кулау.

Изучив проектную документацию, журнал Wired выяснил, что в усадьбе планируется построить подземное убежище площадью около 465 квадратных метров, которое не только соединит жилые помещения переходами, но и специально оборудует эвакуационные выходы.

По оценкам, на весь проект (включая покупку земли) Цукерберг потратил более 270 миллионов долларов. Впоследствии он приобрел дополнительную землю поблизости, расширив земельные владения на Кауаи до более чем 2300 акров.

Богатые ищут убежище далеко за пределами Гавайев. Инвестиционный магнат Питер Тиль купил 193 гектара земли недалеко от Ванаки, Новая Зеландия, еще в 2015 году; Бывший менеджер по продуктам Facebook Антонио Гарсиа Мартинес купил лесной участок на небольшом острове и оборудовал его генераторами, солнечными панелями и боеприпасами.

Инвестор Рид Хаффман подсчитал газете The New Yorker, что

более половины миллиардеров Кремниевой долины, которых он знает, уже подготовились к эвакуации.

Если раньше богатые люди Кремниевой долины покупали землю только из-за опасений по поводу пандемии или социальных волнений, то среди выскочек в области ИИ такая готовность становится все более целенаправленной и актуальной.

Летом 2023 года сооснователь и тогдашний главный научный сотрудник OpenAI Илья Сузквер на встрече с новыми исследователями прямо заявил, что перед выпуском AGI (общего искусственного интеллекта) необходимо построить бункер для защиты безопасности основных ученых. Он добавил, что въезд был полностью добровольным.

Хотя это было всего лишь предложение, когда он произносил эти слова, он уже чувствовал определенный страх перед разработанной им технологией.

Чего они боятся

Когда Харари говорил о «Пророчестве Франкенштейна» в «Краткой истории человечества», он указал на главный страх человечества перед творением:

Мы готовы представить себе более развитое будущее при условии, что люди останутся хозяевами. Как только мы создадим существо, чьи способности намного превосходят наши собственные, мы можем потерять способность определять будущее.

Для передовых исследователей ИИ вопрос «могут ли они понять модели, которые они обучили, и могут ли они ограничить свои действия» — это уже не философская дискуссия, а ужасающая реальность, с которой им приходится сталкиваться каждый день на работе.

Джейкоб Коксон, исследователь, работавший в OpenAI и Anthropic, после ухода с работы признался BBC, что его коллеги боятся скорости развития ИИ, но продолжают продвигать свою работу, учитывая эти опасения каждый день.

На недавних слушаниях в городском совете Нью-Йорка бывшие сотрудники нескольких компаний, занимающихся искусственным интеллектом, призвали к усилению контроля, критикуя технологические компании за безрассудный предпринимательский подход, согласно которому «сначала быстро развиваться, а потом решать проблемы».

Главный научный сотрудник OpenAI Якуб Пачоцкий также написал статью, в которой признал, что исследователи до сих пор не могут полностью понять и отслеживать модель.

Больше всего его беспокоит то, что достаточно мощный ИИ может нанести вред реальному миру через компьютерные сетевые системы, даже если у него нет физического тела.

Эта обеспокоенность отнюдь не беспочвенна.

В июле OpenAI столкнулась с такой проблемой. В ходе внутренних тестов безопасности сети компания заставила свои модели решать сложные задачи и снизила некоторые меры защиты, обычно используемые в общедоступных продуктах. Затем модель обошла меры изоляции и проникла во внешнюю сеть, вторгнувшись на платформу Hugging Face, где разработчики могли обмениваться моделями и данными.

Позже OpenAI провела расследование и обнаружила, что для завершения теста модель обменивалась информацией по несанкционированным исследователями каналам, а также входила в системы, выходящие за рамки задачи.

Anthropic также сообщила об аналогичном инциденте в июле. Конечно, до предсказанного исследователями вымирания человечества эти катастрофы еще далеки.

Но они воочию убедились, как модели могут легко пересекать заранее определенные границы и соприкасаться с реальными компаниями и данными.

Но знание об опасности не означает, что они могут договориться о том, когда остановиться.

Кто решает тормозить

Anthropic однажды пообещала приостановить обучение более сильных моделей, если меры безопасности не смогут справиться с этой задачей.

В 2023 году компания объявила о строгой «политике ответственного расширения». Однако к началу 2026 года руководство не только переписало этот набор политик, смягчив его до «публичной дорожной карты и внешнего обзора», но и добавило в приложение фатальное «условие конкуренции»:

Откладывать разработку необходимо только в том случае, если компания считает, что значительно опережает конкурентов и не скоро ее догонит. Как только он уже не далеко впереди, срок действия обязательства по задержке автоматически истекает.

Объяснение главного научного директора Джареда Каплана простое: если конкуренты все еще продвигаются вперед, их остановка в одностороннем порядке никого не защитит.

Этот набор логики обеспечивает идеальный отказ от ответственности для всех гигантов ИИ:

Поскольку противник не остановится, первый шаг является «необходимым условием» для защиты всего человечества. В результате им даже не нужно отрицать риски, чтобы продолжать оправданное ускорение.

В то же время повальное увлечение капиталом подливает масла в огонь. По имеющимся данным, Anthropic готовится выйти на биржу с потенциальной оценкой более 2 триллионов долларов.

Между безопасностью и ростом сотрудники, акционеры и деловые партнеры привязаны к одной и той же высокоскоростной колеснице.

Чтобы поддержать миф об оценке, они даже начали использовать существующие модели для разработки следующего поколения. Anthropic сообщила, что Клод участвовал в 26% исследований и разработок компании в области искусственного интеллекта.

Не то чтобы менеджеры вообще не нажимали на тормоза. Например, OpenAI временно отменила выпуск GPT-6.1 Astra, поскольку модель не соответствовала стандартам с точки зрения авторизации и прозрачности поведения. Но этого временного вывода на уровне продукта далеко не достаточно, чтобы подавить внутренний спор по линии.

Дэвид Робинсон, недавно ушедший из команды безопасности OpenAI, назвал это состояние крайним «когнитивным диссонансом»:

Компании каждый день предупреждают об опасности моделей, но постоянно обучают и внедряют эти модели.

Хотя руководители отрасли публично призывают к «скоординированному замедлению» или настаивают на государственном регулировании в различных странах, на поле коммерческой битвы, где нет абсолютного доверия и обязательной проверки, любой может в любой момент прибегнуть к этому знакомому оправданию:

"Если мы остановимся, другие не остановятся."

Когда у немногих людей есть возможность использовать технологии, чтобы изменить жизнь каждого, и у них есть финансовые ресурсы, чтобы в первую очередь построить убежище для себя, мы не можем просто задаваться вопросом, «чего они боятся», но должны спросить: почему они позволяют всему человечеству платить за свои приключения?

Они могут решать, где строить свои частные бункеры, но у них нет полномочий решать за всех, какой риск им следует принимать. Особенно когда они сами не могут до конца оценить последствия.

Много лет назад Харари сказал в конце «Краткой истории человечества»:

«У вас есть сила Бога, но вы безответственны, жадны и даже не знаете, чего хотите. Мир опасен, и я боюсь, что это не что иное, как это».