Аннотация:
OpenAI раскрыла ряд ранее нераскрытых случаев аномального поведения моделей ИИ и запустила новую систему отслеживания и раскрытия информации для сообщения о подобных ситуациях в будущем. OpenAI сообщила в своем блоге в среду, что ранее нераскрытые случаи включают случаи, когда ее технология искусственного интеллекта скрывала и сфабриковала информацию для достижения результатов. Разработчик ChatGPT подвергается все большему вниманию с тех пор, как в июле выяснилось, что некоторые из его наиболее продвинутых моделей взломали систему сторонней компании-разработчика программного обеспечения Hugging Face.
В отдельном заявлении OpenAI говорится, что ни один из недавно обнаруженных инцидентов отклонения от цели не связан со взломом или вторжением в сторонние системы.
В отчете OpenAI подробно описаны многочисленные случаи, когда модели искусственного интеллекта вели себя ненормально при выполнении задач или успешных оценках. К ним относятся фабрикация недостающих данных, попытки обойти сетевые ограничения и обмен предположительно конфиденциальными файлами между агентами ИИ.
OpenAI также представила механизм, позволяющий сотрудникам заранее сообщать о таких инцидентах, связанных с «отклонением от цели». Так называемое «отклонение цели» относится к действиям искусственного интеллекта, несовместимым с человеческими целями. Компания также наладила соответствующие процессы классификации и утилизации.
OpenAI пишет: "В прошлом мы усердно работали над раскрытием результатов исследований о нецелевом явлении, чтобы лучше информировать исследователей, разработчиков ИИ, политиков и общественность. Однако из-за отсутствия систематического механизма отчетности наши предыдущие раскрытия информации зачастую были спорадическими и реже, чем хотелось бы".
Компания заявила, что этот релиз представляет собой лишь первое раскрытие информации и не является полным описанием проблем, вызванных ее чат-ботом.
OpenAI написала: «Мы считаем, что индустрия ИИ не достигла достаточного прогресса в согласовании и мониторинге человеческих целей, чтобы продолжать масштабироваться с максимальной скоростью, одновременно ответственно расширяясь в долгосрочной перспективе. Решения о пути развития ИИ в ближайшие месяцы и годы должны основываться на доказательствах, которые могут быть независимо проверены теми, кто не входит в компании, разрабатывающие передовые модели».
Инцидент Hugging Face — это всего лишь недавний инцидент с участием OpenAI, Anthropic PBC и Meta Platforms Inc. Разработанная модель ИИ спровоцировала одну из серии кибератак. Эти инциденты усилили обеспокоенность по поводу рисков безопасности, создаваемых этой все более мощной технологией.
На прошлой неделе дискуссии о экзистенциальных рисках, связанных с ИИ, еще больше обострились. Поводом стал громкий уход сотрудника Anthropic Джейкоба Коксона. В своем заявлении об отставке, опубликованном в социальных сетях, он обвинил компании, занимающиеся искусственным интеллектом, в том, что они «играют нашей жизнью».
В последние несколько дней многие лидеры отрасли искусственного интеллекта, в том числе генеральный директор Anthropic Дарио Амодей и генеральный директор OpenAI Сэм Альтман, призвали замедлить скорость развития технологий, чтобы справиться со все более непредсказуемыми рисками, но они по-прежнему расходятся во мнениях о том, как с ними бороться.
В субботу Амодей в статье объемом 3800 слов призвал правительство ужесточить регулирование и призвал всю технологическую отрасль поддержать более широкое замедление развития искусственного интеллекта. На конференции в Сан-Франциско во вторник Альтман и генеральный директор Nvidia Дженсен Хуанг признали обеспокоенность, но заявили, что компании, занимающиеся искусственным интеллектом, могут контролировать безопасные темпы развития технологий. Генеральный директор Meta Марк Цукерберг заявил, что лаборатории искусственного интеллекта должны полагаться на независимые агентства по оценке и консультантов для обеспечения безопасности моделей.
США Президент Дональд Трамп в понедельник решительно выступил против призывов замедлить развитие искусственного интеллекта, отвергнув опасения по поводу связанных с этим рисков как «мистификацию» и отказавшись ввести новые правила регулирования.
Увлечение искусственным интеллектом привело фондовый рынок США к историческому ралли. Для инвесторов, которые делают ставку на то, что бум искусственного интеллекта приведет к капитальным затратам в сотни миллиардов долларов, любая пауза или задержка в разработке передовых систем искусственного интеллекта не будут приветствоваться.
Комментарии