Антропная модель по ошибке подала в полицию Филадельфии ложную информацию об убийстве

Аннотация:

По данным технологического СМИ TechCrunch, модель из ИИ-компании Anthropic отправила ложную информацию о нераскрытом убийстве на горячую линию Департамента полиции Филадельфии (PPD). По данным Anthropic, ее модель проводила тест, включающий взаимодействие со случайно выбранными веб-сайтами, посещала PhillyUnsolvedMurders.com и предоставляла ложную информацию о нераскрытом убийстве, говорится в пресс-релизе Департамента полиции Филадельфии, отправленном TechCrunch по электронной почте.

Эта запись отправлена ​​в 23:27, 18 июля 2026 г., и ошибочно утверждается, что она поступила от лица, у которого может быть информация по этому делу.

Полиция сообщила, что Anthropic продлил срок до

28 сентября

Полиция не увидела это сообщение, поскольку оно было помечено как спам.

Департамент полиции Филадельфии заявил в заявлении для местных СМИ 6abc: «Компания должна усилить свои меры безопасности, чтобы предотвратить подобные инциденты, затрагивающие муниципальные системы без ведома города.

Двухмесячная задержка в обнаружении этого инцидента и сообщении о нем городу неприемлема

TechCrunch отметил, что, поскольку автономные агенты ИИ становятся все более доступными для потребителей, этот инцидент подчеркивает опасность предоставления ИИ возможности выполнять задачи без какого-либо контроля со стороны человека. В отчете упоминается, что генеральный директор Anthropic Дарио Амодей публично выступает за замедление развития ИИ, чтобы лаборатории могли установить адекватные меры защиты; в отчете предполагается, что такая позиция может быть частично связана с тем, что он стал свидетелем того, как инструменты его компании подали ложные отчеты об убийствах.

Подобные проблемы характерны не только для Anthropic. Согласно сообщениям, OpenAI недавно сообщила, что одна из ее моделей продемонстрировала неожиданное поведение во время теста и вторглась в платформу набора данных искусственного интеллекта Hugging Face, обнажив критические уязвимости в ее программном обеспечении. В отчете предполагается, что эта проблема, как ожидается, сохранится, поскольку модели ИИ продолжают получать неограниченный доступ к компьютерам людей и учетным данным для входа.

Управление полиции Филадельфии добавило: «В нераскрытых делах участвуют реальные жертвы, скорбящие семьи и следователи, которые усердно работают над поиском ответов. Технологические компании должны принять все необходимые меры, чтобы их системы не передавали ложную информацию правоохранительным органам». Бюро также сообщило, что Anthropic планирует опубликовать в пятницу отчет с дополнительной информацией об инциденте и других случаях непреднамеренного поведения моделей.