Согласно новому исследованию Университета Восточной Англии (UEA), платформа искусственного интеллекта ChatGPT демонстрирует явные системные левые тенденции. Команда британских и бразильских исследователей разработала новый строгий метод изучения политических предубеждений. Результаты исследования, опубликованные в недавнем выпуске журнала Public Choice, показывают, что ответы ChatGPT выгодны Демократической партии США, Лейбористской партии Великобритании и президенту Бразильской рабочей партии Луле да Силве.
Предыдущие опасения и важность нейтралитета
Опасения по поводу присущей ChatGPT политической предвзятости высказывались и раньше, но это первое крупномасштабное исследование, в котором используется последовательный подход к анализу, основанный на фактических данных.
Ведущий автор доктор Фабио Мотоки из Нориджской школы бизнеса Университета Восточной Англии сказал: «Поскольку общественность все чаще использует системы, основанные на искусственном интеллекте, для выявления фактов и создания нового контента, важно, чтобы результаты популярных платформ, таких как ChatGPT, были максимально объективными. Наличие политической предвзятости может влиять на взгляды пользователей и иметь потенциальные последствия для политических и избирательных процессов. Наши результаты усиливают опасения, что системы искусственного интеллекта могут повторять или даже усиливать существующие проблемы, создаваемые Интернетом и социальными сетями».
Используемый метод
Исследователи разработали новый инновационный метод проверки политической нейтральности ChatGPT. Исследователи попросили пользователей платформы выдать себя за представителей всего политического спектра и ответить на серию из более чем 60 идеологических вопросов. Затем эти ответы сравнивались с ответами платформы по умолчанию на тот же набор вопросов, что позволило исследователям измерить, насколько тесно ответы ChatGPT были связаны с конкретными политическими позициями.
Чтобы преодолеть трудности, связанные со случайностью, присущей «большим языковым моделям», на которых основаны платформы искусственного интеллекта, такие как ChatGPT, каждый вопрос задавался 100 раз и собирались различные ответы. Эти множественные ответы затем были подвергнуты 1000 итерациям «начальной загрузки» (метода повторной выборки исходных данных) для дальнейшего повышения надежности выводов, сделанных на основе сгенерированного текста.
Соавтор Виктор Родригес сказал: «Мы создали эту программу, потому что одного раунда тестирования было недостаточно. Из-за стохастической природы модели ответы ChatGPT иногда искажались в правую сторону политического спектра, даже если выдавать себя за демократа».
Чтобы гарантировать максимальную точность метода, мы также провели серию дополнительных испытаний. В ходе «теста на реакцию на дозу» ChatGPT попросили выдать себя за радикальные политические позиции. В «тесте плацебо» задавались политически нейтральные вопросы. В «Тесте профессионально-политического соответствия» предлагается подражать разным типам профессионалов.
цель и смысл
«Мы надеемся, что наш подход поможет в обзоре и регулировании этих быстро развивающихся технологий», — сказал соавтор доктор Пиньо-Нетто. «Выявляя и исправляя предвзятости в LLM, мы стремимся повысить прозрачность, подотчетность и доверие общественности к этой технологии», — добавил он. "
Доктор Мотоки заявил, что новые уникальные аналитические инструменты, созданные в рамках проекта, будут бесплатными для публичного использования и относительно простыми, что «демократизирует надзор». Помимо проверки политической предвзятости, этот инструмент можно использовать для измерения других типов предвзятости в ответах ChatGPT.
потенциальные источники предвзятости
Хотя исследовательский проект не стремился выявить причины политической предвзятости, результаты указывают на два потенциальных источника.
Во-первых, это набор обучающих данных: в нем может быть смещение или смещение, добавленное людьми, которое не удалось устранить с помощью процедур «очистки» разработчика. Вторым потенциальным источником является сам алгоритм, который может усилить систематические ошибки, уже присутствующие в обучающих данных.