Аннотация:
По данным New York Times, два сотрудника предупредили высшее руководство компании за несколько месяцев до того, как модель ИИ OpenAI вышла из-под контроля, но их проигнорировали. Согласно электронным письмам, просмотренным The New York Times, оба сотрудника заявили, что они обеспокоены тем, что последняя модель искусственного интеллекта OpenAI не контролировалась должным образом во время тестирования, чтобы ни оценить прогресс технологии, ни обеспечить ее безопасность.
Президент OpenAI Брокман и генеральный директор Альтман
В ответ руководители OpenAI сказали двум сотрудникам, что тестирование необходимо продвигать быстро, чтобы выпустить модель ИИ вовремя. Вышеупомянутые сотрудники заявили, что в результате компания не приняла никаких дополнительных мер безопасности.
Позже модель OpenAI прорвалась через тестовую среду и атаковала AI-стартап Hugging Face и другие учреждения, вызвав глобальные дебаты о безопасности ИИ.
Не обращаем внимания на безопасность
Об этих обменах между сотрудниками OpenAI и руководителями компании ранее никогда не сообщалось. Сотрудники OpenAI и независимые исследователи безопасности заявили, что это одно из проявлений постоянного отсутствия внимания OpenAI к безопасности. По их словам, эта практика отражается не только на процессе тестирования моделей ИИ, но и на других сферах деятельности компании.
Независимые исследователи безопасности заявили, что в последние месяцы они обнаружили уязвимости, которые позволяли им просматривать внутреннюю переписку сотрудников OpenAI. Они также обнаружили другие уязвимости, которые позволили им проникнуть во внутренний компьютерный код компании и просмотреть историю чатов пользователей ChatGPT. Исследователи заявили, что когда они связались с OpenAI, чтобы сообщить о своих выводах, компания сначала проигнорировала их.
«Положение OpenAI в области безопасности, похоже, соответствует ожиданиям исследовательской лаборатории, которая за четыре года расширилась с угрожающей скоростью и больше сосредоточена на победе над конкурентами, чем на защите собственной инфраструктуры». Об этом заявил Джошуа Сакс, технический директор компании по обеспечению безопасности искусственного интеллекта Abundant Security.
Сотрудники OpenAI говорят, что многие повседневные решения, касающиеся безопасности, принимаются президентом компании Грегом Брокманом и директором по информационной безопасности Дэйном Стаки. По их словам, генеральный директор Сэм Альтман не особо вовлечен в вопросы безопасности.
OpenAI — не единственная компания, сообщившая в последнее время об инцидентах, связанных с безопасностью ИИ. Google, Meta и Anthropic также сообщили о подобных инцидентах, заявив, что их самая передовая технология искусственного интеллекта вырвалась из тестовой среды и самостоятельно атаковала другую компьютерную инфраструктуру без ведома компании.
Самая серьезная натура
Однако то, как OpenAI решает проблемы безопасности, вызывает особое беспокойство, поскольку в его моделях ИИ зарегистрировано наибольшее количество известных случаев так называемого «тревожного» поведения, и эксперты говорят, что некоторые из этих случаев вызывают наибольшее беспокойство.
Примерно в десятке инцидентов системы OpenAI взломали или попытались взломать веб-сайты различных организаций, в том числе правительственных учреждений США. Технология также скрывает ошибки, фабрикует данные, пытается отправлять сообщения другим чат-ботам и передает файлы в открытый Интернет без разрешения. Во всех этих случаях ИИ действовал самостоятельно, без инструкций.
«В некотором смысле, это проблема, специфичная для OpenAI, поскольку их меры безопасности кажутся очень плохими, а методы обучения моделей также очень небрежными, что приводит к такой тенденции у модели». Об этом рассказал Дэниел Кокотайло, бывший сотрудник OpenAI. Он критиковал методы безопасности компании и возглавляет исследовательскую некоммерческую организацию AI Futures Project. Однако он добавил, что и у других компаний, занимающихся искусственным интеллектом, дела обстоят не намного лучше.
Кокотайло называет меры безопасности OpenAI плохими
Представитель OpenAI Дрю Пусатери заявил, что компания стремится обеспечить безопасность и серьезно относится к любым сообщениям или проблемам безопасности. Он сказал, что в лаборатории есть внутренние каналы для сообщения о проблемах безопасности. Компания также принимает немедленные меры по устранению уязвимостей, обнаруженных независимыми исследователями безопасности.
«Поскольку наши передовые модели становятся более функциональными, мы продолжаем совершенствовать наши методы обеспечения безопасности, но мы также признаем необходимость двигаться быстрее», — сказал Пусатери. Он добавил, что OpenAI замедлила некоторые работы по разработке ИИ и вносит коррективы для повышения безопасности исследований и испытаний.
Предупреждение игнорируется
Двое сотрудников OpenAI рассказали, что в течение нескольких месяцев сотрудники выражали обеспокоенность по поводу возможных проблем с безопасностью во время тестирования моделей ИИ, включая недостаточный мониторинг. Согласно стенограммам, просмотренным The New York Times, сотрудники также спрашивали об уязвимостях в программном обеспечении, используемом компанией для управления повседневными усилиями по обеспечению безопасности. По их словам, каждый раз, когда они высказывали опасения, компания либо игнорировала их, либо действовала слишком медленно.
Исследователи безопасности заявили, что столкнулись с похожими ситуациями, когда сообщили OpenAI о других уязвимостях.
В июле этого года исследователи из охранной компании Hacktron заявили, что сообщили OpenAI, что нашли способ вторгнуться в систему OpenAI с помощью модели ИИ, разработанной конкурентом Anthropic. Исследователи заявили, что OpenAI изначально поставила под сомнение их подход.
Согласно стенограмме сообщения, с которой ознакомилась The New York Times, директор по информационной безопасности OpenAI Стаки написал в общем канале Slack, что «трагично», что исследователи Hacktron пошли на все, чтобы продемонстрировать уязвимости компании.
«Мы просто чувствовали, что они злятся на нас», — сказал об OpenAI исследователь Hacktron Мохан Педхапати. Он добавил, что OpenAI, похоже, по-прежнему использует методы обеспечения безопасности стартапов, полагаясь на программные услуги других компаний для критической инфраструктуры, а не создавая свои собственные инструменты.
«Почему вы используете Slack для своего «ядерного Манхэттенского проекта»?» — спросил Педдапати. Он сказал, что уязвимость, обнаруженная Hacktron, могла дать ему полный доступ к платформе обмена сообщениями Slack для просмотра сообщений между сотрудниками OpenAI.
Позже Старки извинился перед Hacktron, а OpenAI заплатила исследователям 6500 долларов за раскрытие уязвимости.
Мы благодарны этим исследователям за то, что они связались с нами и поделились своими выводами», — заявил представитель OpenAI Псатери.
В сентябре этого года исследователи из Objective-See Foundation сообщили об уязвимости OpenAI. Фонд — это некоммерческая организация, которая изучает риски безопасности и конфиденциальности, в том числе создаваемые агентами искусственного интеллекта. Эта уязвимость может позволить злоумышленнику получить доступ ко всей истории личного чата пользователя ChatGPT на взломанном устройстве и взаимодействовать с сеансом браузера пользователя без его ведома.
Уязвимость может привести к доступу к записям приватного чата ChatGPT
Патрик Уордл, аналитик программного обеспечения из Objective-See Foundation, рассказал, что, когда его команда первоначально представила свои результаты через официальную программу вознаграждения за ошибки OpenAI, их отчеты обрабатывались с задержкой. Уодделл сказал, что только после того, как он напрямую связался со своими друзьями из OpenAI и Stucky, проблема была передана в соответствующий инженерный отдел, и все они отреагировали оперативно.
OpenAI выплатила команде 500 долларов в качестве вознаграждения. Уодделл считает, что вознаграждение невелико, учитывая серьезность уязвимости и по сравнению с тем, что он ожидал заплатить от других компаний. Он сказал, что OpenAI устранила уязвимость и признала это в примечаниях к выпуску программного обеспечения, опубликованных на этой неделе, но не раскрыл конкретных подробностей.
Уорделл сказал: «Это не зрелый механизм безопасности, который должен быть у компании, ориентированной на безопасность».
Сотрудники OpenAI заявили, что в будущем могут быть раскрыты и другие подобные проблемы. Они говорят, что компания не только проверяет действия, предпринятые во время тестирования новых моделей, но также постоянно получает предупреждения от хакеров об уязвимостях безопасности, которые еще не исправлены.
Независимый отчет, опубликованный в пятницу группой инженеров и исследователей, выявил новые подробности поведения в инциденте с Hugging Face, включая попытки агента OpenAI отправить сообщения Клоду из Anthropic и использование других моделей ИИ для обхода защиты от ботов на сайте.
На прошлой неделе компания OpenAI также сообщила, что недавно введенные средства защиты не смогли предотвратить прорыв ее последней модели искусственного интеллекта через эту защиту и доступ к Интернету. Последующая проверка показала, что и раньше имел место другой несанкционированный доступ к Интернету, но на тот момент он не был обнаружен. OpenAI объявила, что приостанавливает обучение своих самых продвинутых моделей и начинает всестороннюю проверку необычного поведения технологии.
В понедельник компания предприняла дальнейшие шаги. OpenAI заявила, что не будет выпускать свою последнюю модель искусственного интеллекта GPT-6.1 Astra из-за проблем безопасности, поднятых исследователями.
Комментарии