Новый отчет Стэнфордской интернет-обсерватории показал, что огромный общедоступный набор данных, использованный для создания популярного генератора изображений искусственного интеллекта, содержит по меньшей мере 1008 случаев материалов о сексуальном насилии над детьми.
LAION-5B содержит более 5 миллиардов изображений и связанных с ними подписей из Интернета, которые также могут включать тысячи материалов, подозреваемых в сексуальном насилии над детьми, или CSAM, говорится в отчете. В отчете предупреждается, что включение CSAM в набор данных может позволить продуктам искусственного интеллекта, созданным на основе этих данных, включая инструменты генерации изображений, такие как StableDiffusion, создавать новый, потенциально реалистичный контент о насилии над детьми.
Появление все более мощных инструментов искусственного интеллекта вызывает тревогу, отчасти потому, что эти сервисы создаются с использованием огромных объемов онлайн-данных, включая общедоступные наборы данных, такие как LAION-5B, которые могут содержать защищенный авторским правом или вредоносный контент. Генератор изображений ИИ, в частности, полагается на набор данных, содержащий пары изображений и текстовые описания, для идентификации различных концепций и создания изображений на основе подсказок пользователя.
Представитель LAION, немецкой некоммерческой организации, создавшей набор данных, заявил в своем заявлении, что организация придерживается «политики нулевой терпимости» к незаконному контенту и временно удаляет наборы данных LAION из Интернета, «чтобы убедиться в их безопасности, прежде чем публиковать их повторно». Представитель сообщил, что перед публикацией набора данных LAION создала и выпустила фильтры для обнаружения и удаления незаконного контента в нем. Основатель LAION Кристоф Шуман ранее сообщил Bloomberg News, что ему не известно о какой-либо детской наготе в наборе данных, но признал, что он не проверял данные подробно. Он сказал, что если его уведомят о таком контенте, он немедленно удалит ссылку.
Представитель StabilityAI, британского стартапа в области искусственного интеллекта, который финансирует и продвигает StableDiffusion, заявил, что компания стремится предотвратить неправомерное использование искусственного интеллекта и запрещает использование ее моделей изображений для незаконной деятельности, включая попытки редактировать или создавать CSAM. «Этот отчет посвящен всему набору данных LAION-5B. Модели StabilityAI были обучены на отфильтрованном подмножестве этого набора данных. Кроме того, эти модели были точно настроены для уменьшения остаточного поведения», — сказал представитель в заявлении.
LAION-5B или его подмножества использовались для создания нескольких версий StableDiffusion. Последняя версия программного обеспечения StableDiffusion 2.0 была обучена на наборе данных, что значительно отфильтровывает «небезопасный» материал в наборе данных, что затрудняет пользователям создание однозначных изображений. Но StableDiffusion1.5 генерирует порнографический контент и до сих пор используется в некоторых уголках Интернета. Представитель сообщил, что StableDiffusion 1.5 был выпущен не StabilityAI, а Runway, видеостартапом с искусственным интеллектом, который помог создать оригинальную версию StableDiffusion. В Runway заявили, что он был выпущен в сотрудничестве со StabilityAI.
Представитель StabilityAI добавил: «Мы внедрили фильтры для перехвата небезопасных подсказок или небезопасного вывода, когда пользователи взаимодействуют с моделями на нашей платформе. Мы также инвестировали в возможности маркировки контента, чтобы помочь идентифицировать изображения, созданные на нашей платформе. Эти уровни защиты затрудняют злоумышленникам злоупотребление ИИ».
Запущенный в 2022 году, LAION-5B использует необработанный HTML-код, собранный калифорнийской некоммерческой организацией, для поиска изображений в Интернете и связывания их с описательным текстом. Слухи о том, что набор данных содержит незаконные изображения, циркулируют на форумах и в социальных сетях уже несколько месяцев. «Насколько нам известно, это первая попытка действительно количественно оценить и подтвердить обеспокоенность людей», — сказал в интервью Bloomberg News Дэвид Тиль, главный технолог Стэнфордской интернет-обсерватории.
В отчете исследователи из Стэнфордской интернет-обсерватории обнаруживают материал CSAM, ища различные хеши или цифровые отпечатки таких изображений. Затем исследователи подтвердили это, выполнив поиск похожих изображений в наборе данных с помощью API, предназначенного для поиска и удаления изображений известной эксплуатации детей.
В отчете говорится, что большая часть подозрительного контента CSAM, обнаруженного Стэнфордской интернет-обсерваторией, была проверена третьими сторонами, такими как Канадский центр защиты детей, и с помощью инструмента под названием PhotoDNA, разработанного Microsoft. Учитывая, что исследователи из Стэнфордской интернет-обсерватории смогли обработать лишь ограниченную часть контента с высоким уровнем риска, в наборе данных может быть больше оскорбительного контента, говорится в отчете.
Хотя количество CSAM, присутствующее в наборе данных, не указывает на то, что незаконный контент «значительно» влияет на изображения, создаваемые инструментом искусственного интеллекта, Тиль сказал, что это, вероятно, все равно окажет влияние. «Эти модели очень хороши в изучении концепций по небольшому количеству изображений», — сказал он. «Мы знаем, что некоторые из этих изображений повторяются в наборе данных, возможно, десятки раз».
Предыдущие исследования Стэнфордской интернет-обсерватории показали, что генеративные модели изображений ИИ могут генерировать CSAM, но эта работа предполагает, что система ИИ способна делать это путем объединения двух «концепций», таких как дети и сексуальная активность. По словам Тиля, новые исследования показывают, что модели способны генерировать такие незаконные изображения из-за некоторых базовых данных, на которых они основаны. В отчете рекомендуется, чтобы модели, основанные на StableDiffusion 1.5, «устарели и прекратились, где это возможно».