9 марта OpenAI объявила, что приобретет платформу безопасности искусственного интеллекта Promptfoo и планирует полностью интегрировать технологию компании в агентскую платформу корпоративного уровня OpenAI OpenAI Frontier после завершения сделки. Promptfoo в основном ориентирован на корпоративных пользователей и помогает выявлять и устранять различные уязвимости безопасности на этапе разработки систем искусственного интеллекта. Его инструменты были приняты более чем четвертью компаний из списка Fortune 500 и поддерживают оценку и тестирование «красной командой» приложений с большими языковыми моделями через CLI и библиотеки с открытым исходным кодом.
В OpenAI заявили, что по мере того, как предприятия действительно внедряют «коллег ИИ» в бизнес-процессы, оценка, безопасность и соответствие требованиям становятся основными требованиями. Предприятиям не только необходим систематический подход к тестированию поведения агентов и выявлению рисков перед выходом в Интернет, но им также необходимо вести четкий учет во время долгосрочной эксплуатации и обслуживания для удовлетворения потребностей в надзоре, управлении и подотчетности. Хотя OpenAI планирует продолжить проект с открытым исходным кодом Promptfoo, он будет глубоко интегрировать свои возможности в Frontier, чтобы предоставить корпоративным пользователям более полные интегрированные решения.
Команда Promptfoo, возглавляемая соучредителями Яном Вебстером и Майклом Д’Анджело, создала зрелый и мощный набор инструментов для оценки и моделирования атак (красная команда), которые помогают компаниям выявлять потенциальные риски при применении больших моделей в масштабе. OpenAI заявила, что Promptfoo обладает глубоким инженерным опытом в области оценки, безопасности и тестирования систем искусственного интеллекта на уровне предприятия. Его работа помогает предприятиям развертывать более безопасные и надежные приложения искусственного интеллекта. Включение этих возможностей непосредственно в Frontier значительно повысит общий уровень безопасности платформы.
Согласно информации, опубликованной OpenAI, компании, создающие агентов на платформе Frontier, в будущем будут улучшены в нескольких основных возможностях. Во-первых, тестирование безопасности и защиты будет встроено в качестве встроенных возможностей платформы: автоматическое тестирование безопасности и возможности атаки красной команды помогут предприятиям выявлять и снижать такие риски, как быстрое внедрение, взлом тюрьмы, утечка данных, неправильное использование инструментов и поведение агентов за пределами политики. Во-вторых, возможности безопасности и оценки будут более тесно интегрированы в рабочий процесс разработки, что позволит командам выявлять, устранять неполадки и устранять риски агентов на более раннем этапе, что сделает безопасность одним из основных аспектов разработки и эксплуатации систем искусственного интеллекта на уровне предприятия. В-третьих, платформа укрепит возможности надзора и подотчетности за счет интеграции инструментов отчетности и отслеживания, которые помогут организациям записывать процессы тестирования, отслеживать профили рисков с течением времени и соответствовать все более строгим требованиям к управлению, рискам и соблюдению требований.
Ян Вебстер, соучредитель и генеральный директор Promptfoo, сказал, что первоначальная цель Promptfoo заключалась в том, чтобы предоставить разработчикам практичное и осуществимое решение для обеспечения безопасности систем искусственного интеллекта. Поскольку агенты ИИ становятся все более тесно связанными с реальными данными и ключевыми системами, сложность и важность их защиты и систематической проверки быстро возрастают. Он сказал, что присоединение к OpenAI позволит Promptfoo ускорить инвестиции в этом направлении и предоставить более сильные возможности безопасности, надежности и управления командам, которые создают реальные системы искусственного интеллекта.
В OpenAI заявили, что рады присоединиться к команде Promptfoo и будут продолжать создавать соответствующие инструменты, которые помогут предприятиям безопасно и надежно развертывать приложения искусственного интеллекта и агентские системы. Завершение приобретения по-прежнему зависит от выполнения обычных условий закрытия.