Аннотация:
28 сентября, по данным Bloomberg,
Nvidia запустила новую двухуровневую систему безопасности с использованием искусственного интеллекта
. Компания заявила, что инцидента можно было бы избежать, если бы в системе была развернута модель искусственного интеллекта OpenAI, когда произошло вторжение Hugging Face.
Хуан Ренсюнь
Nvidia быстро расширяет свою линейку продуктов за пределы чипов и в настоящее время выпускает два инструмента обеспечения безопасности программного обеспечения с открытым исходным кодом, которые могут работать на ее оборудовании. Они предназначены для того, чтобы в режиме реального времени контролировать, к чему может получить доступ агент ИИ, и отключать его, если он нарушает правила.
Новая система, получившая название Open Agent Security Platform, призвана обеспечить способ предотвращения вторжений, не замедляя развитие ИИ.
Джастин Бойтан, вице-президент по корпоративному искусственному интеллекту в Nvidia, заявил на брифинге с журналистами, прежде чем объявить о системе в понедельник, что атаку на Hugging Face можно было бы предотвратить, если бы ведущие лаборатории искусственного интеллекта с самого начала использовали эту технологию для оценки своих моделей искусственного интеллекта.
«Исходя из имеющейся у нас информации, эта новая платформа безопасности могла бы предотвратить это вторжение», — сказал он. В настоящее время ненадлежащее поведение автономных агентов ИИ вызвало шок в индустрии ИИ и заставило некоторых призывать к замедлению процесса разработки технологий ИИ.
Бойтано не стал комментировать, планирует ли OpenAI или конкурент Anthropic использовать эту новую систему для мониторинга процесса обучения моделей, но попросил журналистов задать вопросы этим компаниям.
Ранее генеральный директор Nvidia Дженсен Хуанг преуменьшал риск потери ИИ контроля со стороны человека. В последние дни Хуан назвал проблемы безопасности ИИ инженерной задачей, а не проблемой, требующей более строгого регулирования или глобальной координации. Он присоединился к президенту США Трампу, опровергнув утверждения некоторых разработчиков ИИ о том, что эта технология может привести к вымиранию человечества, но также подчеркнул, что ИИ должен пройти строгие испытания на безопасность.
Инженерное решение Хуан Ренсюня проблемы безопасности ИИ состоит из двух частей.
Во-первых, OpenShell — это программный продукт, который Nvidia представила на своей фирменной технологической конференции в марте и работает на центральном процессоре Nvidia Vera. Он позволяет пользователям устанавливать правила для доступа к контенту, к которому агенты ИИ могут получить доступ, и обеспечивать соблюдение этих правил в режиме реального времени. Программное обеспечение имеет открытый исходный код, что означает, что его можно свободно использовать и адаптировать.Между тем, Nvidia Sentry — это новый продукт, который может работать на блоке обработки данных Nvidia BlueField. NVIDIA заявила, что этот продукт предназначен для обеспечения дополнительного уровня механизма мониторинга ИИ для наблюдения за поведением агентов ИИ, а также для вмешательства и изоляции агентов при обнаружении подозрительного поведения.
Комментарии