Аннотация:
Недавно Sony представила новый патент на технологию искусственного интеллекта, в котором предлагается использовать ИИ для прогнозирования следующего кадра игры до того, как видеокарта завершит рендеринг, тем самым уменьшая задержку экрана и пытаясь избежать дополнительных проблем с задержкой, вызванных некоторыми существующими технологиями генерации кадров. Согласно описанию патента, система может заранее генерировать прогнозируемое изображение на основе последнего визуализированного кадра и последней входной информации контроллера проигрывателя и отображать его игроку до того, как будет официально визуализирован следующий кадр.
Эта технология в основном направлена на устранение недостатка в текущей схеме генерации частичных кадров. Многие существующие решения требуют получения двух завершенных кадров, прежде чем они смогут вычислить и сгенерировать интерполированный кадр между ними, а процесс ожидания завершения второго кадра приводит к дополнительным задержкам. Новый метод Sony пытается пропустить эту фазу ожидания и напрямую использовать существующие изображения для прогнозирования будущих изображений вместо интерполяции между двумя кадрами.
Теоретически ожидается, что этот метод обеспечит более плавный вывод изображения при увеличении нагрузки рендеринга и падении частоты кадров. Однако в патентном документе не приводятся конкретные результаты испытаний производительности, поэтому его фактическое влияние на уменьшение задержки и конечное качество изображения еще предстоит проверить.
С точки зрения технической реализации компания Sony разработала совместно обученную архитектуру кодера и декодера. Кодер отвечает за преобразование визуализированного изображения в компактное числовое представление, вектор внедрения; затем декодер генерирует предсказанное изображение на основе этих данных.
Пока игра запущена, система будет работать синхронно с конвейером рендеринга графики. Когда оборудование визуализирует следующий кадр, ИИ одновременно обрабатывает предыдущий кадр и отправляет результаты прогнозирования в буфер дисплея. Таким образом, прогнозируемый кадр может отображаться до того, как будет завершен фактический визуализируемый кадр, заполняя пробел в рендеринге.
В патенте также упоминается, что модель может использовать векторы движения и последние входные данные контроллера для повышения точности прогнозирования. Векторы движения могут отражать направление и скорость движения объектов на изображении, а ключевые операции могут отражать последние поведенческие намерения игрока. Оба могут предоставить ИИ больше информации, чем один только предыдущий кадр.
На этапе обучения в качестве источника данных используются непрерывные видеокадры. Нейронная сеть сначала начинает обучение со случайными весами, получает на вход один кадр изображения и пытается предсказать следующий кадр, затем сравнивает результаты прогнозирования с реальными последующими кадрами, измеряет ошибку через значение потерь и непрерывно оптимизирует модель.
Согласно описанию патента, система будет постоянно определять, достигает ли значение потерь установленного порога в процессе обучения. Поскольку непрерывное видео само по себе может предоставить реальные эталонные изображения, весь процесс обучения не требует ручного аннотирования данных. Кроме того, декодер выводит больше цветовых каналов, чем получает кодер, а это означает, что в будущем система сможет генерировать несколько прогнозируемых кадров одновременно.
Помимо решения на основе искусственного интеллекта Sony также предложила альтернативу, не связанную с искусственным интеллектом. Эта схема генерирует синтетические кадры путем перемещения блоков пикселей на основе информации о движении без использования обученных моделей кодера и декодера. В патентном документе также утверждается, что эти технологии, как ожидается, позволят избежать снижения качества изображения при сохранении фиксированной скорости вывода кадров, но до сих пор неизвестно, действительно ли сгенерированные кадры могут обеспечить визуальные эффекты, аналогичные нативному рендерингу.
Инсайдеры отрасли считают, что ключевым испытанием этой технологии является способность ИИ точно генерировать прогнозируемые изображения с достаточно высокой скоростью и своевременно заполнять вакансии на дисплее при снижении производительности рендеринга. Патент демонстрирует осуществимую идею, но ее фактический эффект еще необходимо подтвердить будущими демонстрациями продуктов или технологий.
Комментарии