Аннотация:
По словам разработчиков проекта, функция интерполяции кадров Nvidia с ускорением на графическом процессоре была интегрирована в FFmpeg через API Vulkan. FFmpeg — это широко используемый набор программных инструментов, который поддерживает большое количество современных платформ, сервисов и приложений обработки мультимедиа, включая YouTube.
Благодаря этой новой функции FFmpeg может вызывать видеокарту NVIDIA GeForce RTX для прогнозирования и генерации следующего кадра, минуя традиционный процесс рендеринга графики. NVIDIA расширяет эту возможность на кодирование видео, позволяя пользователям увеличивать частоту кадров видео с помощью технологии генерации кадров. Ускоритель оптического потока (NVOFA) в видеокартах NVIDIA применяет логику оптического потока, используемую при рендеринге графики, к видео, прогнозирует следующий кадр и повышает частоту кадров видео с помощью промежуточных кадров, генерируемых искусственным интеллектом. NVIDIA называет этот процесс «преобразованием частоты кадров с помощью двигателя (FRUC)».
FRUC — это не просто алгоритм сглаживания изображения в традиционном понимании. Он использует специальный ускоритель оптического потока NVIDIA для расчета информации о движении между последовательными исходными кадрами. NVENC отвечает за предоставление данных кадра на стороне кодирования, а оборудование оптического потока генерирует векторы движения, которые описывают движение объектов на изображении. Затем FFmpeg может синтезировать промежуточные кадры на основе этой информации о движении, эффективно увеличивая частоту кадров видео без повторного рендеринга исходного контента.
Эта схема также более эффективна, чем программная интерполяция кадров. Чистая программная интерполяция обычно предъявляет значительно более высокие вычислительные требования к ЦП. Новая реализация Vulkan позволяет FFmpeg напрямую обращаться к оборудованию NVIDIA, избегая при этом зависимостей проприетарного программного обеспечения, из-за которых предыдущие исправления, представленные в 2023 году, не могли быть объединены в проект.
NVIDIA первоначально выпустила ускоритель оптического потока в эпоху архитектуры «Тьюринг» серии GeForce RTX 20. Однако текущая реализация, основанная на API Vulkan, официально поддерживает только GeForce RTX 30 серии «Ampere» и более новые модели. Таким образом, эта новая функция доступна пользователям видеокарт серий GeForce RTX 30, RTX 40 и RTX 50.
Благодаря интерполяции кадров с помощью графического процессора частота кадров видео может быть удвоена: 30-кадровое видео может отображаться с 60 кадрами, а 24-кадровое видео, обычное для фильмов, может быть увеличено до 48 кадров. Чтобы использовать эту функцию, пользователям нужно только запустить инструмент FFmpeg локально.
Комментарии