С момента появления генеративного ИИ и больших языковых моделей некоторые предупреждают, что выходные данные, генерируемые ИИ, могут в конечном итоге повлиять на результаты, генерируемые последующими ИИ, создавая опасную петлю обратной связи. Теперь у нас есть такой задокументированный случай, еще раз подчеркивающий риски в развивающемся технологическом пространстве.
Пытаясь проиллюстрировать чат-бота с искусственным интеллектом, галлюцинирующего ложную информацию, исследователь непреднамеренно повлиял на рейтинг результатов поиска, в результате чего у другого чат-бота начались галлюцинации. Этот инцидент демонстрирует необходимость дальнейших мер безопасности, поскольку поисковые системы с искусственным интеллектом становятся все более популярными.
Исследователь информатики Дэниел С. Гриффин ранее в этом году опубликовал в своем блоге два примера чат-ботов, предоставляющих неверную информацию, с участием влиятельного ученого-компьютерщика Клода Э. Шеннона. Гриффин также включил заявление об отказе от ответственности, в котором говорилось, что информация, предоставленная чат-ботом, не соответствует действительности, чтобы помешать машинным поисковым системам индексировать информацию, но этого было недостаточно.
В конце концов Гриффин обнаружил, что несколько чат-ботов, в том числе Bing от Microsoft и Google Bard, приняли его галлюцинаторные сообщения за реальные сообщения и поставили их выше в результатах поиска. Когда им задавали конкретные вопросы о Шеннон, боты опирались на предупреждения Гриффина и давали последовательный, но ложный рассказ, приписывая Шеннон статью, которую Шеннон никогда не писала. Еще более тревожно то, что результаты поиска Bing и Bard не указывали на то, что их источником был магистр права.
Эта ситуация аналогична ситуации, когда люди цитируют источники вне контекста или вне контекста, что приводит к ошибочным исследованиям. Случай Гриффина демонстрирует потенциал генеративных моделей ИИ для автоматического исправления таких ошибок в ужасающих масштабах.
Впоследствии Microsoft исправила ошибку в Bing, предположив, что проблема с большей вероятностью возникнет при работе с темами, в которых в Интернете относительно мало написанного человеком материала. Другая причина опасности этого прецедента заключается в том, что он предоставляет теоретическую основу для злоумышленников, которые могут намеренно использовать LLM для распространения дезинформации, влияя на результаты поиска. Известно, что хакеры распространяют вредоносное ПО, настраивая мошеннические веб-сайты для получения верхних позиций в результатах поиска.
Уязвимость совпадает с предупреждением в июне о том, что по мере того, как в сети становится больше контента, созданного LLM, он будет использоваться для обучения будущих LLM. Возникающая в результате петля обратной связи может значительно ослабить качество и достоверность моделей ИИ, что приведет к явлению, известному как «коллапс модели».
Компании, использующие ИИ, должны обеспечить, чтобы при обучении по-прежнему отдавалось приоритетное внимание контенту, созданному человеком. Сохранение менее заметной информации и материалов, созданных группами меньшинств, может помочь решить эту проблему.