Генеративный ИИ совершает немало хорошо задокументированных ошибок — от фабрикации научных работ до плагиата художников. Теперь, похоже, оно снова появляется в операциях государственного влияния. Согласно новому отчету базирующейся в Массачусетсе компании RecordedFuture, занимающейся разведкой угроз, последней кампании «вероятно» способствовали коммерческие продукты для генерации речи на основе искусственного интеллекта, включая публично выпущенную технологию популярного стартапа ElevenLabs.
В докладе описывается связанная с Россией кампания, направленная на подрыв европейской поддержки Украины, которую она называет «операцией по убийству», в которой широко используются закадровые голоса, генерируемые искусственным интеллектом, в ложных или вводящих в заблуждение «новостных» видеороликах.
Видео были ориентированы на европейскую аудиторию и, среди прочего, содержали нападки на украинских политиков за коррупцию или ставили под сомнение полезность военной помощи Украине.
В отчете говорится, что «весьма вероятно» то, что создатели видео использовали искусственный интеллект, генерирующий речь, в том числе технологию ElevenLabs, чтобы сделать свой контент более законным. Чтобы проверить это, исследователи из RecordedFuture отправили клипы в собственный классификатор речи ElevenLabs, который позволяет любому «определить, был ли аудиоклип создан с помощью ElevenLabs», и получили совпадение;
ElevenLabs не ответила на запрос о комментариях. Хотя RecordedFuture отметила, что можно использовать несколько коммерческих инструментов генерации речи с использованием искусственного интеллекта, она не назвала других, кроме ElevenLabs.
Руководители движения за влияние непреднамеренно продемонстрировали полезность генерации речи с помощью искусственного интеллекта, когда они довольно поспешно выпустили ряд видеороликов с голосами реальных людей с «безошибочным русским акцентом». Напротив, дубляж, созданный искусственным интеллектом, был на различных европейских языках, таких как английский, французский, немецкий и польский, без каких-либо иностранных акцентов.
По данным RecordedFuture, искусственный интеллект также позволяет быстро публиковать вводящие в заблуждение фрагменты на нескольких языках по всей Европе, таких как английский, немецкий, французский, польский и турецкий (все они поддерживаются ElevenLabs).
RecordedFuture обвинила в этой деятельности SocialDesignAgency, российскую организацию, которую правительство США ввело в марте санкции за управление «сетью из более чем 60 веб-сайтов, которые выдавали себя за настоящие европейские новостные организации, а затем использовали фейковые аккаунты в социальных сетях для усиления вводящего в заблуждение содержания этих поддельных сайтов». Госдепартамент тогда заявил, что все это делается «от имени российского правительства».
RecordedFuture пришел к выводу, что общее влияние кампании на общественное мнение Европы было минимальным.
По данным Bloomberg, компания по обнаружению голосового мошенничества пришла к выводу, что это не первый случай, когда продукты ElevenLabs обвиняются в злоупотреблениях. Компания по обнаружению голосового мошенничества пришла к выводу, что ее технология сыграла роль в звонке робота, выдававшего себя за президента США Джо Байдена во время первичных выборов в январе 2024 года, призывающего избирателей не выходить на голосование. В ответ ElevenLabs заявила, что выпустила новые функции безопасности, такие как автоматическая блокировка голосов политиков.
ElevenLabs запрещает «несанкционированную, вредную или вводящую в заблуждение подделку», заявляя, что для обеспечения соблюдения этого закона используются различные инструменты, такие как автоматизированная и ручная проверка;
ElevenLabs пережила взрывной рост с момента своего основания в 2022 году. ROE компании недавно выросла до $80 млн по сравнению с $25 млн меньше, чем год назад, и вскоре она может быть оценена в $3 млрд. В число его инвесторов входят Андреессен Горовиц и бывший генеральный директор Github Нат Фридман.