Аннотация:
Недавно запущенный AI-помощник Muse компании Meta подвергся серьезной уязвимости безопасности нулевого дня. Muse для macOS имеет чрезвычайно широкие системные разрешения. После взлома злоумышленник может получить токен, используемый для проверки личности учетной записи Muse через локальные приложения или даже команды терминала, и дополнительно контролировать всю учетную запись AI Assistant.
Исследователи безопасности заявили, что это означает, что злоумышленники могут выполнять большое количество операций с высоким уровнем риска с разрешениями, которые получила сама Muse, включая запись вредоносных файлов, фотографирование и чтение пользовательских данных.
Muse — новый агент искусственного интеллекта, недавно выпущенный компанией Meta. Он может выполнять такие операции, как назначение встреч, заполнение форм, решение вопросов обслуживания клиентов и совершение покупок от имени пользователей. Он также может генерировать изображения, создавать документы и подключаться к часто используемым пользователями приложениям и онлайн-сервисам. В настоящее время Muse предоставляет версию для macOS, а версия для Windows еще не выпущена. Чтобы Muse мог выполнить эти задачи, пользователям необходимо предоставить ему доступ к WhatsApp, электронной почте, календарю и учетным записям социальных сетей.
В отличие от обычных чат-ботов, Muse — это ИИ-агент, который фактически может выполнять операции от имени пользователя. Он может даже динамически создавать необходимые вам инструменты во время выполнения задачи. Таким образом, Muse должен получить гораздо более широкие системные разрешения, чем традиционные приложения для чата с искусственным интеллектом.
В macOS Muse необходимо получить ряд разрешений, защищенных операционной системой, включая запись файлов на диск, доступ к микрофону и камере, определение местоположения и доступ к календарю. Причина, по которой Apple разработала эти ограничения системных разрешений, заключается в том, чтобы обычные приложения или программы, выполняемые в терминале, не могли по своему желанию вызывать эти конфиденциальные ресурсы.
Однако исследователи безопасности обнаружили, что конструкция Muse фактически обходит некоторые механизмы изоляции безопасности, изначально предусмотренные в macOS.
Уязвимость обнаружил эксперт по безопасности macOS Патрик Уордл. Он обнаружил, что любое локально установленное приложение или исполняемый код, независимо от того, насколько ограничены разрешения macOS, может изменить большое количество нераскрытых внутренних настроек Muse.
Подавляющее большинство этих настроек сами по себе не представляют очевидной угрозы безопасности, например изменение параметров пользовательского интерфейса, таких как темный режим. Но один параметр имеет решающее значение, поскольку он позволяет процессу изменять конечные точки сети, используемые Muse для транскрипции речи.
Обычно Muse отправляет запрос на транскрипцию речи на сервер Meta. Однако злоумышленник может воспользоваться уязвимостью и изменить этот адрес на сервер, который он контролирует. Как только Muse начнет отправлять запросы на вредоносный сервер, токен, используемый для аутентификации учетной записи пользователя Muse, также может быть получен злоумышленником.
После получения этого токена злоумышленник больше не контролирует один голосовой запрос, а может получить постоянный контроль над всей учетной записью Muse. Уордл заявил, что злоумышленники могут напрямую использовать высокие привилегии, полученные Muse, для выполнения различных операций без необходимости специально писать сложный набор вредоносных программ для macOS.
Wardle провела несколько атак для проверки концепции, в том числе использовала Muse для записи вредоносных файлов на диск и вызова камеры для съемки фотографий. В некоторых тестах даже очень внимательный пользователь может не увидеть очевидных предупреждений безопасности.
Это означает, что у Muse есть особая проблема с безопасностью: злоумышленнику не обязательно сначала получить полный контроль над самой Muse, ему достаточно найти точку входа, позволяющую запускать вредоносный код на Mac, и он может в дальнейшем использовать системные привилегии, полученные Muse.
Особенно стоит отметить один тип атак — так называемую атаку ClickFix. В последние годы ClickFix стал очень эффективным средством атак социальной инженерии. Его основной метод заключается в том, чтобы обманом заставить пользователей выполнять, казалось бы, обычные операции или команды, но на самом деле они запускают на устройстве вредоносный код, предоставленный злоумышленником.
Уордл заявил, что с помощью простой модификации этого метода атаки можно дополнительно контролировать учетную запись Muse. Это также делает общепринятую точку зрения о том, что «все меры безопасности бессмысленны, если ваш Mac взломан», не совсем применимой к Muse.
Причина в том, что последствия атак на обычные приложения и атак на агентов ИИ различны. Сама Muse получила большое количество разрешений на доступ к пользовательским данным и выполнение реальных операций. Таким образом, пока злоумышленник может использовать Muse для завершения эскалации разрешений, первоначальная локальная атака с очень ограниченными разрешениями может трансформироваться в крупномасштабный контроль над агентом ИИ.
Злоумышленник также может использовать сетевые прокси-серверы для проведения атак. Один из способов — разместить сервер, контролируемый злоумышленником, между пользователем Muse и мета-сервером. Когда пользователь вводит голосовую команду в Muse, злоумышленник может вставить в запрос вредоносное приглашение, чтобы побудить Muse выполнить операцию, которую хочет выполнить злоумышленник, например потребовать от Muse упаковать все сообщения WhatsApp пользователя и отправить их злоумышленнику.
Что еще более серьезно, так это то, что как только токен аутентификации Muse также будет отправлен на вредоносный сервер, злоумышленник может получить постоянный контроль над учетной записью Muse, а не просто завершить атаку.
Уордл считает, что уязвимость возникла в результате сочетания нескольких дизайнерских решений в Muse. Одной из ключевых проблем является решение Meta позволить Muse выполнять транскрипцию речи в облаке.
В самой macOS уже давно предусмотрены механизмы для выполнения диктовки и транскрипции локально на устройстве. Если бы Meta решила хранить конфиденциальные голосовые данные внутри устройства, атака злоумышленника путем изменения адреса сервера облачной транскрипции была бы невозможна.
Другая проблема заключается в том, что Muse позволяет любому локальному приложению управлять большим количеством нераскрытых настроек. Уордл считает, что Meta, возможно, изначально просто хотела позволить приложениям, взаимодействующим с Muse, настраивать параметры, связанные с пользовательским интерфейсом, и этот дизайн сам по себе имеет определенную рациональность. Но разрешение любому приложению изменять конечные точки сервера, обрабатывающие конфиденциальные голосовые данные, представляет собой совершенно другой риск для безопасности.
Уордл считает, что эти дизайнерские решения поднимают более серьезный вопрос о том, сколько соображений безопасности Meta вложила в проектирование и тестирование Muse. Он сказал, что для приложений ИИ с такими широкими системными разрешениями требования к безопасности должны быть намного выше, чем у обычного программного обеспечения.
Ранее Meta опубликовала две последовательные статьи, в которых подробно описывались меры, принятые Muse для обеспечения конфиденциальности и безопасности в процессе проектирования. Основатель и генеральный директор Meta Марк Цукерберг также подчеркнул, что Muse с самого начала разрабатывалась в соответствии с требованиями конфиденциальности и безопасности.
Однако раскрытие уязвимости нулевого дня явно противоречит концепции безопасности, которую ранее подчеркивала Meta. Особенно в контексте недавних инцидентов безопасности, которые произошли в других моделях ИИ, вопрос о том, что агенты ИИ получают все больше и больше практических разрешений на работу, привлекает внимание исследователей безопасности.
Ранее в моделях Anthropic и Google во время внутреннего тестирования возникали инциденты безопасности, связанные с внешними сторонними сетями. Хотя тесты не были предназначены для атаки на эти сети, способность систем ИИ действовать автономно вызвала постоянные дискуссии в области безопасности.
В то же время Amazon начал блокировать Muse покупки на своем веб-сайте примерно за 12 часов до того, как уязвимость была обнародована. Когда пользователи попытаются попросить Muse делать покупки на Amazon, они увидят сообщение от Amazon, в котором говорится, что Muse является неавторизованным агентом искусственного интеллекта и нарушает условия использования Amazon.
В Amazon заявили, что сторонние приложения, позволяющие совершать покупки у других компаний от имени клиентов, должны работать открыто и прозрачно и уважать решение поставщика услуг разрешить им участвовать в транзакциях. Amazon считает, что это похоже на отношения между платформами еды на вынос и ресторанами, платформами доставки и магазинами, а также онлайн-турагентами и авиакомпаниями. Агенты ИИ, которые могут выполнять транзакции от имени потребителей, также должны соблюдать этот принцип.
Amazon также попросила Meta удалить свою платформу из системы покупок Muse.
Ограничительные меры, принятые Amazon на этот раз, также происходят в контексте конкуренции между Meta и Amazon вокруг покупок агентов ИИ. В будущем агенты ИИ смогут напрямую просматривать веб-сайты, выбирать продукты и совершать платежи для пользователей. Поэтому вопрос о том, как идентифицировать традиционные веб-сайты и разрешить ли агентам ИИ получать к ним доступ, становится новой деловой и технической проблемой.
Meta еще не ответила на конкретные вопросы, заданные средствами массовой информации об этой уязвимости нулевого дня, поэтому неясно, разработала ли компания патч, начала ли она рассылать обновления исправлений затронутым пользователям и была ли эта уязвимость фактически использована до того, как ее обнаружили исследователи.
Уордл заявил, что планирует дополнительно представить эту уязвимость и обсудить другие угрозы безопасности, которые могут представлять помощники ИИ, на конференции по безопасности Objective by the Sea в ноябре этого года. Он также считает, что стандарты безопасности ИИ-агентов должны быть значительно выше, чем у обычных приложений, поскольку для выполнения задач, авторизованных пользователями, такому программному обеспечению часто требуется одновременный доступ к учетным записям, коммуникациям, файлам, камерам, микрофонам и другим конфиденциальным ресурсам.
Проблемы, выявленные Muse на этот раз, также показывают, что существуют очевидные различия в моделях безопасности агентов ИИ и традиционных приложений. Даже если в традиционном программном обеспечении возникают уязвимости, злоумышленникам обычно все равно необходимо постепенно получать системные разрешения; Сами агенты ИИ предназначены для выполнения операций от имени пользователей. Таким образом, при обнаружении недостатков в его механизме аутентификации или границах разрешений злоумышленники могут напрямую использовать изначально законно полученные разрешения ИИ-агента для выполнения операций с высоким уровнем риска.
Конкретный масштаб воздействия этой уязвимости и ход восстановления Meta еще требуют дальнейшего подтверждения. Но для пользователей, которым нужны агенты ИИ для подключения к электронной почте, обмену мгновенными сообщениями, календарю, социальным сетям, платежным и торговым сервисам, инцидент с Muse еще раз подчеркивает основную проблему: чем больше разрешений имеет ИИ-помощник, тем выше важность его собственного механизма безопасности.
Комментарии