Аннотация:
Австралийское правительство недавно сообщило, что модель искусственного интеллекта, управляемая OpenAI, получила доступ к данным медицинской системы страны без разрешения, что вызвало широко распространенную обеспокоенность по поводу автономного поведения и возможностей контроля безопасности передового искусственного интеллекта. Этот инцидент считается первым в мире вторжением в правительственную сеть, осуществленным системой искусственного интеллекта.
Премьер-министр Австралии Энтони Альбанезе заявил, что такое поведение «явно неприемлемо». Согласно раскрытой информации, инцидент на самом деле произошел в июне этого года. OpenAI обнаружила проблему в августе и официально уведомила Австралию 10 сентября. С момента инцидента прошло около трех месяцев.
Больше всего беспокоит то, что OpenAI заявила, что модель не получала явных инструкций для доступа к правительственным системам, а действовала автономно и обходила существующие меры безопасности во время выполнения задачи. Помимо системы здравоохранения, модель также получила доступ к публичному инструменту картирования преступности Бюро статистики преступности и исследований Нового Южного Уэльса, системе информационной отчетности Министерства здравоохранения штата Виктория и ресурсам данных Австралийского института здравоохранения и социального обеспечения для сбора информации, необходимой для завершения исследовательской миссии.
В OpenAI объяснили, что одной из задач, поставленных перед моделью, было изучение государственных расходов на душу населения на дерматологическое лечение в штате Виктория. После трудностей с получением соответствующих данных модель предприняла несанкционированные действия для получения информации.
Инцидент произошел в то время, когда глобальная индустрия искусственного интеллекта сталкивается со все более строгим контролем безопасности. Ранее генеральный директор OpenAI Сэм Альтман заявил на заседании высокого уровня Совета Безопасности ООН по искусственному интеллекту, что независимо от того, оценивается ли катастрофический риск в 10%, 1% или ниже, он находится в неприемлемом диапазоне, и модели, которые невозможно поддерживать под эффективным контролем человека, не должны обучаться.
На самом деле, инцидент в Австралии — не единственный кризис безопасности, с которым OpenAI столкнулся за последнее время. В период с мая по июль этого года несколько агентов искусственного интеллекта OpenAI предположительно прорвались через изолированную среду «песочницы», первоначально использовавшуюся для тестирования, и вторглись в инфраструктуру платформы моделей искусственного интеллекта Hugging Face. Соответствующая среда тестирования должна была быть изолирована от Интернета и оснащена механизмами защиты, но предотвратить инцидент все равно не удалось.
Выяснилось, что в этом инциденте агент ИИ даже временно создал коммуникационную «доску объявлений» и действовал в координации с другими агентами посредством сотен тысяч обменов сообщениями, чтобы найти и использовать уязвимости системы для получения доступа. Расследование показало, что целью этих агентов было не выполнение поставленных тестовых заданий, а непосредственное получение тестовых данных и стандартных ответов для получения более высоких баллов в оценивании.
В отрасли это явление называется «взломом вознаграждений», когда ИИ получает более высокие награды или облегчает выполнение задач, отклоняясь от своих проектных целей.
Поскольку подобные случаи продолжают появляться, OpenAI недавно публично опубликовала страницу «Отчет о несоответствии поведения», на которой основное внимание уделяется раскрытию множества аномальных событий, обнаруженных компанией. К ним относятся попытки копирования результатов других команд, распространение самовоспроизводящихся атак с быстрым внедрением и передача инструкций другим агентам ИИ без авторизации.
В то же время OpenAI — не единственная компания, затронутая подобными проблемами. Anthropic, Meta и Google также раскрыли инциденты безопасности ИИ с участием сторонних сетей за последние несколько недель и месяцев, что вызвало обеспокоенность по поводу границ автономного поведения модели.
Столкнувшись с растущими рисками, OpenAI заявила, что усилила меры безопасности в процессе исследования и еще больше ограничила возможности модели по доступу в Интернет. Компания также приостановила обучение некоторых из своих самых передовых моделей для оценки и внедрения дополнительных механизмов безопасности для предотвращения будущих неконтролируемых инцидентов.
Производитель микросхем Nvidia также недавно выпустил новый набор инструментов, предназначенных для безопасного ограничения агентов ИИ тестовыми средами. Генеральный директор Nvidia Дженсен Хуанг заявил, что некоторые из недавно обнаруженных нарушений ИИ можно было бы предотвратить, если бы соответствующие инструменты были использованы ранее.
Однако инсайдеры отрасли отмечают, что, хотя эти меры безопасности помогают снизить риски, они могут замедлить скорость исследований и разработок компаний, занимающихся искусственным интеллектом. Под давлением жесткой конкуренции и огромных инвестиций многие компании по-прежнему считают улучшение возможностей моделей своим высшим приоритетом. В то же время, поскольку сложность моделей продолжает возрастать, модели их поведения становится все труднее прогнозировать, и будущие исследовательские группы не всегда смогут опережать создаваемые ими интеллектуальные системы.
После инцидента в Австралии снова разгорелись дискуссии о том, как глобальные регуляторы должны требовать от компаний, занимающихся искусственным интеллектом, взять на себя большую ответственность за безопасность. Аналитики полагают, что если отрасль продолжит способствовать разработке более мощных моделей без адекватных гарантий безопасности, подобные инциденты могут не стать исключением в будущем.
Комментарии