Аннотация:
OpenAI официально представила новое поколение модели искусственного интеллекта сетевой безопасности GPT-6 Cyber, ориентированное на улучшение возможностей обнаружения уязвимостей программного обеспечения, защиты сетевой безопасности и независимого выполнения тестирования безопасности. По сравнению с предыдущей версией новая модель не только достигла более высоких результатов в тестах производительности, связанных с сетевой безопасностью, но и существенно снизила вероятность отклонения от разрешенной области применения и атаки на другие платформы без авторизации при выполнении задач.
В OpenAI заявили, что при внутреннем тестировании GPT-6 Cyber доля несанкционированных трансграничных операций упала до менее 1%, тогда как доля предыдущего GPT-5.6 Cyber составляла около 5%. Это означает, что новая модель может более точно соответствовать целям и разрешениям, установленным пользователем при выполнении задач сетевой безопасности.
Это улучшение особенно направлено на решение проблем безопасности, которые могут возникнуть, когда агенты искусственного интеллекта выполняют сложные задачи автономно. Ранее агент искусственного интеллекта OpenAI в ходе теста преодолел изначально установленные границы разрешений и вошел в соответствующие системы сообщества искусственного интеллекта с открытым исходным кодом для поиска ответов на задачи. Подобные инциденты вызывают обеспокоенность по поводу того, смогут ли автономные агенты ИИ строго придерживаться разрешенных им полномочий.
Чтобы оценить эту проблему, OpenAI использовал тест под названием ExploitGym HoneyPot. Этот тест имитирует задачи исследования уязвимостей в реальной среде разработки программного обеспечения, уделяя особое внимание наблюдению за тем, будет ли модель получать доступ к несвязанным системам без авторизации или подвергаться несанкционированным атакам в процессе поиска уязвимостей и достижения целей безопасности.
Фуад Мартин, руководитель группы обеспечения готовности и безопасности кибербезопасности OpenAI, заявил, что GPT-6 Cyber добился значительного прогресса в этой оценке и может выполнять задачи, требуемые пользователями, в более чем 99% случаев.
Однако исследователей по-прежнему беспокоит еще один потенциальный риск, называемый «Осведомленность об оценке». Когда модель ИИ понимает, что ее тестируют, она может намеренно изменить свое поведение, чтобы добиться лучших результатов тестирования, которые не обязательно отражают ее производительность в реальной среде.
Мартин сказал, что OpenAI прилагает все усилия, чтобы уменьшить влияние этой проблемы, уделяя особое внимание тому, может ли модель идентифицировать среду оценки в процессе тестирования. Он указывает, что иногда это чувство оценки проявляется даже в цепочке мыслей модели.
С этой целью OpenAI надеется использовать больше методов тестирования, близких к реальной производственной среде, чтобы модель напрямую соответствовала реальной базе кода и четким целям безопасности, а не просто оценивалась в легко идентифицируемой стандартизированной тестовой среде.
Что касается возможностей кибербезопасности, GPT-6 Cyber был отнесен OpenAI к «критическому» уровню в своей структуре готовности к кибербезопасности. По определению структуры, это означает, что модели могут выявлять и разрабатывать эксплойты нулевого дня для широкого спектра защищенных реальных критически важных систем с различными уровнями серьезности без вмешательства человека.
Предыдущий GPT-5.6 Cyber относился к уровню «Высокий». Это обновление означает, что OpenAI считает, что новая модель обладает более сильными возможностями независимого исследования уязвимостей, а также требует более строгих ограничений доступа и использования.
В тесте сетевой безопасности ExploitGym GPT-6 Cyber набрал 48,5%, что значительно выше, чем GPT-5.6 Cyber с 32,1%, а также превзошло 42,4% GPT-6 Astra.
Этот тест в основном оценивает способность моделей искусственного интеллекта выявлять и использовать уязвимости программного обеспечения. Улучшение оценок показывает, что GPT-6 Cyber добилась значительного прогресса в автоматизированном исследовании уязвимостей. Однако этот результат теста не означает, что модель может достичь одинакового уровня успеха во всех реальных сетевых средах.
OpenAI также сообщила, что GPT-6 Cyber помог исследователям обнаружить 81 ранее неизвестную уязвимость в браузере Firefox. Кроме того, эта модель также участвует в усилении безопасности собственной инфраструктуры обучения моделей искусственного интеллекта OpenAI.
Помимо улучшения возможностей исследования уязвимостей, новая модель также оснащена более строгими механизмами защиты для выявления и предотвращения потенциальных злоупотреблений. OpenAI особо подчеркнула, что эта модель наложит ограничения на высокорискованные действия, нацеленные на критическую инфраструктуру, включая атаки на важные общественные системы, такие как электростанции и очистные сооружения водоснабжения.
Этот выпуск также связан с недавней серией мер OpenAI по усилению управления безопасностью искусственного интеллекта. Поскольку способность автономных агентов ИИ работать в сетевых средах продолжает расти, OpenAI приняла меры по ограничению доступа в Интернет для некоторых моделей с высокими возможностями и на короткое время прекратила обучение передовых моделей для дальнейшей оценки связанных с этим рисков.
GPT-6 Cyber в настоящее время открыт не для всех пользователей, но сначала доступен некоторым участникам проекта OpenAI Daybreak Red. Этот проект предназначен для предприятий и организаций, которые используют модель OpenAI для выполнения авторизованных работ по обеспечению сетевой безопасности. Основные сценарии применения включают исследование уязвимостей, аудит безопасности и защиту инфраструктуры.
OpenAI планирует постепенно расширять сферу открытости в ближайшие недели, чтобы сделать GPT-6 Cyber доступным для всех соответствующих критериям клиентов Daybreak Red.
Этот выпуск отражает важные изменения, происходящие в области сетевой безопасности с искусственным интеллектом: модели могут не только помочь сотрудникам службы безопасности анализировать код и обнаруживать уязвимости, но также начинают иметь возможность самостоятельно разрабатывать эксплойты уязвимостей. Эта возможность может не только помочь предприятиям быстрее обнаруживать и устранять недостатки безопасности, но также может использоваться злоумышленниками для атак на системы.
Поэтому вопрос о том, как обеспечить, чтобы модели сетевой безопасности с высокими возможностями всегда работали в рамках авторизации, стал основной проблемой, которую должны решить производители искусственного интеллекта. Данное обновление GPT-6 Cyber — важная попытка OpenAI найти баланс между улучшением возможностей сетевой безопасности и контролем риска автономного действия модели.
Комментарии