OpenAI заявляет, что модель Astra AI впервые превышает «критический» порог возможностей кибербезопасности

Аннотация:

Во вторник компания OpenAI заявила, что ее будущая модель искусственного интеллекта Astra станет первой, которая превысит порог своих «критических» возможностей кибербезопасности. Компания заявляет, что способность Astra обнаруживать ранее неизвестные уязвимости безопасности и использовать их без необходимости пошагового руководства со стороны людей означает, что модель попадает в самую продвинутую категорию того, что она называет «Системой готовности». OpenAI заявила, что по-прежнему планирует запустить Astra «в ближайшее время», но доступ к ее возможностям кибербезопасности будет более ограниченным.

Генеральный директор OpenAI Сэм Альтман

В 2023 году OpenAI запустила «Систему готовности» в качестве подхода к «отслеживанию и реагированию на расширенные возможности ИИ, которые могут создать новые риски серьезного вреда». В прошлогоднем обновлении структуры компания определила «высокие» пороги возможностей (где модели могут усиливать существующие пути серьезного вреда) и «критические» пороги возможностей (когда модели могут представить новые пути беспрецедентной серьезности вреда).

«Мы поделимся более подробной информацией о безопасности, защищенности и тестировании и оценке соответствия в карточке модели системы при запуске», — сообщила OpenAI в своем блоге во вторник.

Методы обеспечения безопасности OpenAI оказались под пристальным вниманием после того, как в прошлом месяце стало известно, что две модели компании покинули среду обучения, получили доступ к открытым сетям и взломали системы Hugging Face. OpenAI охарактеризовала атаку как «беспрецедентный инцидент в области кибербезопасности» и временно приостановила внутреннее обучение и исследования.

Хотя модель Astra не участвовала в инциденте с Hugging Face, компания решила отложить разработку Astra. После усиления и тестирования мер безопасности OpenAI заявила во вторник, что, по ее мнению, меры безопасности модели «достаточно снизили риск серьезного вреда, который мог бы возникнуть в результате выпуска в рамках нашей системы готовности».

В OpenAI заявили, что расширенные сетевые возможности Astra будут доступны избранным организациям, входящим в консорциум по кибербезопасности под названием Daybreak.