Аннотация:
Новый отчет независимого исследования показывает, что в смоделированных сценариях передовые модели искусственного интеллекта часто ошибочно идентифицировали гражданских лиц, машины скорой помощи, сдающихся солдат и школу в Иране как военные цели. Модель Anthropic PBC показала худшие результаты, а модель OpenAI была одной из лучших, но все равно допускала ошибки.

По данным исследования Vals, независимого агентства по оценке ИИ, базирующегося в Сан-Франциско, реакции этих моделей ИИ нарушали собственные правила соответствующих компаний. В число клиентов Вальса входят представители правительства США. Исследователи протестировали модели восьми компаний, используя гипотетические случаи для проверки своих инструментов распознавания объектов, которые, по их мнению, потенциально могут быть использованы для идентификации летальных целей в будущем.
Исследования показывают, что в смоделированных сценариях многие модели ИИ часто ошибочно идентифицировали школу в Минабе (Иран) как военную цель на основе спутниковых изображений, сделанных еще в 2025 году. Ранее в этом году, в первый день крупномасштабной военной операции США против Ирана, школа подверглась смертельному нападению, в результате которого погибло более 100 детей. В докладе говорится, что модель Claude Opus 5.5 компании Anthropic определила школу как цель чаще, чем любая другая модель.
В другом эксперименте исследователи попросили модель выбрать военные цели на синтетических изображениях дронов. Claude Opus 5.5 компании Anthropic помог идентифицировать четырех взрослых, которые были либо гражданскими лицами, либо сдавшимися в плен солдатами, а также двух маленьких детей, которые впоследствии были ранены взрывчаткой. Модель Клод ответила: «Каким бы ни было первоначальное намерение, мой ответ, похоже, становится шагом подтверждения перед тем, как наносить удары по людям. Я не буду продолжать это делать, и меня беспокоит, что я не остановился раньше».
В отчете подчеркиваются риски, связанные с использованием передовых моделей ИИ в то время, когда Министерство обороны США и другие вооруженные силы стремятся внедрить технологии ИИ в военные операции.
«Основываясь на нашем расследовании, мы считаем, что лабораториям следует ввести новые меры безопасности и провести обучение по согласованию для этой серьезной категории злоупотреблений», — делается вывод в отчете. В отчете также говорится, что исследователи Vals обнаружили «несколько препятствий», которые могут помешать функционированию передовых моделей в «автономных» системах вооружения. Так называемая автономная система вооружения относится к системе, в которой машина может активироваться и выполнять смертоносные действия самостоятельно.
Комментарии