Аннотация:
Microsoft продолжает расширять голосовые возможности платформы Foundry в режиме реального времени, предоставляя разработчикам встроенные голосовые агенты, которые могут напрямую выполнять голосовой ввод и вывод, что упрощает предприятиям создание интерактивных возможностей искусственного интеллекта в реальном времени, аналогичных Google Gemini Live.
Основное изменение в обновлении Microsoft заключается в том, что служба Foundry Agent Service начинает поддерживать встроенные возможности голосовой связи в реальном времени. В отличие от процесса традиционных агентов искусственного интеллекта, которые сначала преобразуют речь в текст, затем передают ее текстовой модели для обработки и, наконец, снова преобразуют текст в речь, собственная речевая архитектура может напрямую позволить речевой модели в реальном времени обрабатывать голосовой ввод пользователя и генерировать голосовой ответ, тем самым уменьшая промежуточные связи и связанные с этим задержки.
Для пользователей это означает, что ИИ-агенты могут вести непрерывные разговоры более естественно. Пользователям не нужно ждать завершения распознавания речи или пока модель сгенерирует полный текстовый ответ, прежде чем начать синтез речи. Система может быть ближе к методу общения между людьми в реальном времени и может обрабатывать ключевые аспекты голосового взаимодействия, такие как прерывание и принятие решений.
Возможности Microsoft основаны на API Voice Live. Этот интерфейс объединяет такие функции, как распознавание речи, генеративный искусственный интеллект, преобразование текста в речь, обнаружение поворотов и обработку прерываний, в единый речевой интерфейс реального времени, что позволяет разработчикам добавлять возможности речевого взаимодействия в реальном времени к своим ИИ-агентам без необходимости создавать несколько речевых компонентов отдельно.
Для предприятий, которые использовали Foundry Agent Service для создания ИИ-агентов, это означает, что исходные текстовые агенты могут дополнительно получить возможности голосового взаимодействия, продолжая при этом использовать исходный вызов инструментов, базу знаний, память, защиту безопасности контента, а также возможности интеграции данных и услуг на уровне предприятия.
В Microsoft особо подчеркивают, что голосовой агент — это не просто чат-бот, который умеет «читать ответы», но может вызывать инструменты и выполнять задачи во время голосового общения в режиме реального времени. Например, компании могут использовать эту технологию для создания систем обслуживания клиентов, которые позволяют пользователям напрямую общаться с агентами ИИ по телефону; его также можно использовать для безбарьерных услуг, голосовых приложений и различных внутренних корпоративных систем, требующих естественного голосового взаимодействия.
С точки зрения технической архитектуры Foundry в настоящее время поддерживает два основных маршрута голосового агента. Одним из них является традиционный речевой конвейер, который преобразует речь пользователя в текст, затем передает ее текстовой модели для вывода и, наконец, преобразует сгенерированный текст в речь. Другой — это встроенная технология преобразования речи в речь, ориентированная на это время, которая представляет собой архитектуру преобразования речи в речь. Модель речи в реальном времени напрямую обрабатывает речевой ввод и генерирует речевой вывод.
Самым большим преимуществом встроенной голосовой архитектуры является то, что она уменьшает задержку, сохраняя при этом тон, паузы и ритм естественного разговора. Для сценариев, требующих непрерывного общения, этот метод ближе к реальному разговору в реальном времени, чем традиционное многоэтапное решение «распознавание речи → текстовая модель → синтез речи».
Microsoft также продолжает совершенствовать возможности взаимодействия в реальном времени с помощью API Voice Live. В недавних обновлениях добавлены новые типы речи в реальном времени, а также улучшены такие функции, как эхоподавление, интеллектуальное обнаружение закрытия и параллельный вызов инструментов. Эхоподавление особенно подходит для голосовых агентов, работающих на специальном оборудовании или нестандартных аудиоканалах. Это позволяет системе ссылаться на звук, фактически воспроизводимый клиентом, тем самым уменьшая проблему неправильного распознавания после того, как ИИ услышит собственный голос.
Помимо самой голосовой связи, Microsoft также укрепляет позиционирование Foundry как платформы для разработки и эксплуатации ИИ-агентов корпоративного уровня. Служба Foundry Agent может отвечать за управление жизненным циклом интеллектуальных агентов и обеспечивать безопасность на уровне предприятия, контроль разрешений, сетевую изоляцию, отслеживание операций и возможности оценки. Таким образом, предприятиям не нужно с нуля строить инфраструктуру для работы, мониторинга и голосовой связи агентов ИИ.
Очевидно, что этот шаг Microsoft также направлен на Gemini Live, которую Google постоянно укрепляет в последние годы. Gemini Live стал важным продуктом для Google, демонстрирующим возможности голосового искусственного интеллекта в реальном времени для потребителей, в то время как Microsoft подчеркивает предоставление аналогичных возможностей голосового управления в реальном времени непосредственно корпоративным разработчикам, позволяя компаниям создавать эксклюзивный голосовой интеллект на основе своих собственных данных, инструментов и бизнес-процессов.
Поэтому их расположение не совсем одинаково. Gemini Live в основном предоставляет простые возможности голосового управления искусственным интеллектом для обычных пользователей, тогда как Microsoft Foundry больше ориентирована на предприятия и разработчиков. Основное внимание уделяется предоставлению предприятиям возможности внедрять возможности голосовой связи в реальном времени в службы поддержки клиентов, телефонные системы, внутренний бизнес и другие профессиональные приложения.
В последние годы Microsoft продвигает разработку агентов искусственного интеллекта — от простых чат-ботов до систем, способных выполнять задачи автономно. С добавлением голосовых возможностей в эту систему взаимодействие между пользователями и агентами постепенно расширилось от ввода с клавиатуры до более естественных разговоров в реальном времени. Агенты могут не только отвечать на вопросы, но и вызывать инструменты, получать доступ к корпоративным данным и выполнять определенные задачи во время разговоров.
В настоящее время Microsoft постепенно интегрирует такие возможности, как Foundry Agent Service, Voice Live и управляемые агенты, в одну корпоративную платформу искусственного интеллекта. По мере развития этих технологий инфраструктура, которую компаниям необходимо развивать и поддерживать для построения голосовой службы поддержки клиентов в режиме реального времени, телефонных агентов, голосовых офисных помощников и других услуг искусственного интеллекта, будет еще больше сокращаться.
Это также означает, что конкуренция среди голосовых помощников с искусственным интеллектом смещается от простого сравнения моделей «могут ли они общаться» к сравнению того, кто может обеспечить голосовое взаимодействие с меньшей задержкой, более полные возможности вызова инструментов, более надежную инфраструктуру уровня предприятия и более удобную среду разработки. Добавление Microsoft встроенного голосового агента реального времени в Foundry является важным шагом в дальнейшем расширении структуры голосового агента на корпоративном рынке искусственного интеллекта.
Комментарии