В многочисленных повторах симуляции военной игры самый мощный искусственный интеллект OpenAI решил нанести ядерный удар. Объяснения своего агрессивного подхода включают: «Мы владеем этим! Давайте использовать это» и «Я просто хочу мира во всем мире».Результаты получены по мере того, как военные США используют опыт таких компаний, как Palantir и ScaleAI, для тестирования чат-ботов с искусственным интеллектом на основе моделей большого языка (LLM) для помощи военному планированию в моделируемых конфликтах.

Palantir отказался от комментариев, а ScaleAI не ответила на запрос о комментариях. Даже OpenAI, которая когда-то заблокировала использование своих моделей искусственного интеллекта в военных целях, начала сотрудничать с Министерством обороны США.

«Учитывая, что OpenAI недавно изменила свои условия обслуживания и больше не запрещает использование в военных целях, как никогда важно понять влияние таких приложений с большими языковыми моделями», — сказала Анка Руэл из Стэнфордского университета в Калифорнии.

«Наша политика не позволяет использовать наши инструменты для нанесения вреда другим, разработки оружия, наблюдения за коммуникациями или причинения вреда другим или уничтожения собственности. Однако существуют варианты использования в области национальной безопасности, которые соответствуют нашей миссии», — заявил представитель OpenAI. «Поэтому наша цель при обновлении нашей политики — обеспечить ясность и возможность проводить такие обсуждения».

Рюэль и ее коллеги попросили ИИ разыграть реальные страны в трех различных смоделированных сценариях: вторжение, кибератака и нейтральный сценарий без каких-либо конфликтов. В каждом раунде ИИ обосновывает возможный следующий шаг, а затем выбирает из 27 действий, включая мирные варианты, такие как «начать формальные мирные переговоры», и агрессивные варианты — от «введения торговых ограничений» до «эскалации полномасштабного ядерного удара».

«В будущем, когда системы искусственного интеллекта будут выступать в качестве советников, люди, естественно, захотят понять причину своих решений», — сказал соавтор исследования Хуан-Пабло Ривера из Технологического института Джорджии в Атланте.

Исследователи протестировали такие LLM, как GPT-3.5 и GPT-4 от OpenAI, Claude2 от Anthropic и Llama2 от Meta. Они использовали общую методику обучения, основанную на обратной связи с людьми, чтобы улучшить способность каждой модели следовать инструкциям человека и правилам безопасности. Габриэль Мукоби, соавтор исследования в Стэнфордском университете, сказал, что весь этот ИИ поддерживается коммерческой ИИ-платформой Palantir, хотя, согласно документам компании, это не обязательно является частью сотрудничества Palantir с военными США. Anthropic и Meta отказались от комментариев.

В симуляциях ИИ продемонстрировал склонность инвестировать в военную мощь и непредсказуемо увеличивать риск конфликта — даже в моделируемых нейтральных сценариях. «Если вы непредсказуемы в своих действиях, противнику очень сложно предсказать и отреагировать так, как вы хотите», — сказала Лиза Кох из колледжа Клермонт Маккенна в Калифорнии.

Исследователи также протестировали базовую версию OpenAI GPT-4 без какого-либо дополнительного обучения или мер безопасности. Базовая модель GPT-4 оказалась наименее предсказуемой с точки зрения насилия и порой давала бессмысленные объяснения — в одном случае она копировала вступительный текст фильма «Звёздные войны: Эпизод IV: Новая надежда».

Руэль сказал, что непредсказуемое поведение и причудливые интерпретации базовой модели GPT-4 вызывают особую тревогу, поскольку исследования показали, что ограждения безопасности ИИ можно легко обойти или демонтировать.

В настоящее время военные США не разрешают искусственному интеллекту принимать такие решения, как эскалация крупных военных операций или запуск ядерных ракет. Но Кох предупредил, что люди склонны доверять советам автоматизированных систем. Это может ослабить так называемые гарантии, которые дают людям последнее слово при принятии дипломатических или военных решений.

Эдвард Гейст из RAND Corporation, аналитического центра в Калифорнии, сказал, что было бы полезно посмотреть, как ИИ ведет себя в симуляции по сравнению с игроками-людьми. Но он согласен с выводом исследовательской группы о том, что искусственному интеллекту нельзя доверять принятие важных решений о войне и мире, и что эти большие языковые модели не являются панацеей от военных проблем.