Билибили (Bilibili) официально запустила собственную «функцию оригинального перевода с использованием искусственного интеллекта». Эта функция использует революционную технологию генерации голоса и реконструкции видео для точного восстановления уникального голоса, тембра и дыхания хоста UP, а также обеспечивает естественную синхронизацию переводимого языка и формы рта, предоставляя инновационные решения для межъязыковой передачи основного контента, такого как игры, технологии и двухмерный контент.
В отличие от жесткости традиционного машинного перевода, основное преимущество оригинального перевода Bilibili с использованием искусственного интеллекта заключается в «аутентичной» обработке локализации. Его основная технология основана на модели генерации речи, разработанной внутри компании. Он использует инновационные методы контроля продолжительности речи и эмоций для точного контроля ритма речи и разделения эмоционального выражения и характеристик личности говорящего. Это гарантирует, что переведенный голос не только сохранит личный стиль владельца UP, но и естественным образом будет соответствовать ритмическим привычкам целевого языка.
Что касается синхронизации губ и обработки субтитров, техническая группа объединила передовую интеллектуальную технологию обработки видео, чтобы точно стереть исходную область субтитров и перерисовать ее с высокой степенью восстановления, так что переведенная форма рта и голосовое содержание идеально совпадают.Для устранения трудностей перевода, таких как игровая терминология и двумерные мемы, функция представляет технологию глубокого анализа и объединяет механизм перевода, созданный с большой языковой моделью, для повышения точности перевода имен собственных и культурных мемов до 90 %, эффективно решая проблему «пробелов в смехе» в межкультурном общении.
В настоящее время эта функция поддерживает двуязычный перевод между китайским и английским языками, полностью охватывая видеоролики, прямые трансляции иКнопки интерфейса ежедневно обрабатывают сотни тысяч запросов на перевод некитайского контента.По словам технической команды Bilibili, последующий план будет поддерживать почти 10 языков, включая японский и корейский, чтобы еще больше расширить охват культурного круга ACG.
Чэнь Жуй, председатель и генеральный директор Bilibili, сказал, что эта функция является ключевой реализацией стратегии платформы «контент без границ». Ранее Bilibili завершила слияние внутренней и международной версий приложения и накопила богатый опыт локализации культурных элементов. Запуск функции оригинального перевода AI означает, что Bilibili полностью достигла зрелости в своей межъязыковой технологии.
Отраслевые аналитики отметили, что оригинальная функция перевода AI Bilibili впервые достигла высокой степени синергии между «точностью перевода – восстановлением голоса – соответствием формы рта» благодаря многоцелевой оптимизации и технологии обучения с подкреплением, установив новый технический стандарт для длинных видеоплатформ.
Для владельцев UP эта функция значительно снизит языковой порог для экспорта контента за границу, что особенно принесет пользу создателям, которые полагаются на «человеческие голоса», такие как комментарии к играм и обзоры анимации. Для пользователей, будь то китайские пользователи, просматривающие контент на иностранном языке, или иностранные пользователи, просматривающие китайские видео, они могут получить захватывающий опыт, практически «без барьеров субтитров».