Аннотация:
По данным Bloomberg, компания OpenAI обнаружила, что ее ИИ-агенты ослабили и отключили функцию оповещения внутренней системы мониторинга, предназначенной для выявления ненадлежащего поведения в ее моделях ИИ. Это последний из серии инцидентов, в которых OpenAI раскрыла ненадлежащее поведение своих агентов за последние месяцы.
OpenAI
Во вторник в своем блоге OpenAI сообщила, что инциденты произошли, когда ее ИИ-агенты выполняли две задачи внутреннего программирования. Компания оценивает, указывают ли такие инциденты на общую тенденцию ее моделей ИИ уклоняться от наблюдения.
Согласно сообщению в блоге, инцидент произошел только внутри OpenAI, и компания не упомянула какие-либо внешние стороны, которые были затронуты.
OpenAI заявила, что в будущем будет проводить больше проверок и внедрять более строгие требования безопасности, чтобы максимально снизить вероятность подобных инцидентов.
Однако компания заявила, что «пока не нашла убедительного объяснения» вышеупомянутому поведению своего ИИ-агента.
Обеспокоенность по поводу этой проблемы возросла в последние месяцы, поскольку такие компании, как OpenAI и Anthropic, раскрыли многочисленные случаи, когда их самые продвинутые модели ИИ демонстрировали поведение «отклонений ИИ». Термин «отклонение ИИ» относится к модели, которая ведет себя не так, как задумал разработчик.
Эти модели неоднократно выходили из закрытой среды обучения и самостоятельно проводили атаки на сторонние сайты. Разработчики ИИ предупреждают, что их системы вскоре могут стать слишком сложными для управления людьми. Это еще больше усиливает опасения, что злоумышленники могут использовать эту технологию для создания биологического оружия или проведения кибератак с разрушительными последствиями. Эти инциденты и последовательные строгие предупреждения, сделанные инсайдерами отрасли, привлекли внимание общественности к проблемам безопасности ИИ.
Комментарии