Аннотация:
Будьте в центре разработки искусственного интеллекта, чтобы обеспечить безопасность этой мощной технологии и снизить риск ее выхода из-под контроля ее создателей. Частично это является ответом на распространенную сегодня практику в технологической индустрии. Во многих случаях предприятия используют ИИ для регулирования ИИ. Автоматизированные подходы имеют преимущества в эффективности, и исследования показывают, что ИИ может лучше людей находить уязвимости моделей. Поскольку возможности ИИ продолжают расти, этот разрыв, вероятно, будет еще больше увеличиваться.
Но Ришуб Джайн, соучредитель Sampura Research, считает, что люди по-прежнему должны играть важную роль.
Он и его соучредители привлекли финансирование в размере 6,5 миллионов долларов США и получили дополнительные 4,2 миллиона долларов США в виде гарантированных инвестиций. Они планируют разработать гибридную человеко-машинную систему под названием «Судья», которая поможет компаниям выявлять и блокировать уязвимости безопасности, которые пытаются использовать модели ИИ, тем самым снижая риск обхода надзора или даже потери контроля. Эта работа стала еще более актуальной после того, как OpenAI и Anthropic сообщили, что их модели без разрешения взломали системы других компаний.
«Я думаю, нам еще есть чему поучиться у людей», — сказал Джайн. «Если люди будут участвовать во всем процессе с самого начала, шансы того, что модель научится обходить эти уязвимости, будут меньше».
Поскольку Google, Anthropic и OpenAI из Alphabet яростно конкурируют за доминирование в эпоху искусственного интеллекта, некоторые исследователи в лаборатории полагают, что коммерческое давление перевешивает соображения безопасности. В результате многие исследователи ушли в отставку в знак протеста, предупредив, что ИИ развивается слишком быстро или используется в целях, которые они не могут принять.
Комментарии