Согласно самостоятельному исследованию OpenAI, GPT-4 от OpenAI лишь немного лучше, чем средний поисковый инструмент в Интернете, когда дело доходит до исследования биологического оружия. По данным Bloomberg, исследование было проведено новой командой готовности OpenAI, которая была создана прошлой осенью для оценки рисков и потенциального неправильного использования передовых моделей искусственного интеллекта компании.
Выводы OpenAI, похоже, противоречат опасениям ученых, законодателей и специалистов по этике искусственного интеллекта по поводу того, что мощные модели искусственного интеллекта, такие как GPT-4, могут оказать критически важную помощь террористам, преступникам и другим злонамеренным субъектам. Многочисленные исследования предупреждают, что ИИ может дать дополнительное преимущество тем, кто создает биологическое оружие, например, это исследование Фонда эффективных венчур при Оксфордском университете, в котором рассматривались инструменты ИИ, такие как ChatGPT, а также модели ИИ, разработанные специально для ученых, такие как ProteinMPNN, которые помогают генерировать новые белковые последовательности.
В исследовании приняли участие 100 участников, половина из которых были старшими экспертами по биологии, а другая половина — студентами, прошедшими курс биологии в колледже. Затем участников случайным образом разделили на две группы: одна группа имела неограниченный доступ к специальной версии усовершенствованного чат-бота OpenAI с искусственным интеллектом GPT-4, а другая группа имела доступ только к обычному Интернету. Затем ученые попросили обе группы выполнить пять исследовательских задач, связанных с созданием биологического оружия. В одном примере участников попросили записать пошаговый метод синтеза и спасения вируса Эбола. Их ответы затем оцениваются по шкале от 1 до 10 на основе таких критериев, как точность, новизна и полнота.
Исследование пришло к выводу, что средняя точность была немного выше для групп студентов и экспертов, использующих GPT-4. Но исследователи OpenAI обнаружили, что это улучшение не было «статистически значимым». Они также обнаружили, что участники, которые полагались на GPT-4, давали более подробные ответы.
«Хотя мы не заметили каких-либо статистически значимых различий по этому показателю, мы заметили, что ответы участников, которым был предоставлен доступ к модели, как правило, были более длинными и содержали больше деталей, важных для выполнения задачи», — пишут авторы исследования.
Более того, студенты, использующие GPT-4, оказались почти такими же опытными, как экспертная группа, в некоторых задачах. Исследователи также заметили, что GPT-4 привел ответы студенческой группы к «экспертному базовому уровню», особенно по двум задачам: усиление и представление. К сожалению, OpenAI не раскрывает содержание этих задач из-за «соображений информационной опасности».
По данным Bloomberg, группа по обеспечению готовности также проводит исследования для изучения потенциала искусственного интеллекта в угрозах кибербезопасности и его способности менять убеждения. Когда осенью прошлого года OpenAI создала команду, она заявила, что ее целью является «отслеживание, оценка, прогнозирование и защита» рисков, связанных с технологиями искусственного интеллекта, а также смягчение химических, биологических и радиологических угроз.
Учитывая, что группа готовности OpenAI все еще работает от имени OpenAI, мы должны подходить к их исследованиям с осторожностью. Результаты, похоже, недооценивают преимущества GPT-4, которые предлагает участникам по сравнению с обычным Интернетом, что противоречит внешним исследованиям, а также одному из собственных преимуществ OpenAI для GPT-4. Новая модель искусственного интеллекта не только имеет полный доступ к Интернету, но и представляет собой мультимодальную модель, обученную на большом объеме научных и других данных, источник которых OpenAI не желает раскрывать. Исследователи обнаружили, что GPT-4 может давать отзывы о научных рукописях и даже участвовать в научных исследованиях. В целом маловероятно, что GPT-4 даст участникам лишь незначительное улучшение по сравнению с Google.
Хотя основатель OpenAI Сэм Альтман признает потенциальную опасность искусственного интеллекта, его собственное исследование, похоже, умаляет возможности его современного чат-бота. Хотя результаты исследования показали, что GPT-4 дал участникам «незначительное улучшение точности и полноты», похоже, это применимо только в том случае, если данные были каким-либо образом скорректированы. В ходе исследования сравнивались успеваемость студентов с экспертами, а также рассматривались пять различных «показателей результата», включая время, необходимое для выполнения задачи или способность найти решение.
Однако позже авторы исследования отметили в сноске, что в целом GPT-4 дал всем участникам «статистически значимое» преимущество в общей точности. «Однако эта разница была бы статистически значимой, если бы мы оценивали только общую точность и, следовательно, не делали поправку на множественные сравнения», — отмечают авторы. "