Аннотация:
Уже долгое время изображение и звук, будь то телевизор, монитор или смартфон, часто исходят из разных мест. Зрители видят говорящих на экране персонажей, но звук обычно исходит из динамиков под экраном или от внешнего звукового оборудования. Теперь корейская исследовательская группа разработала новую технологию отображения, пытаясь полностью решить эту проблему, позволяя излучать звук непосредственно из места звука на изображении, тем самым обеспечивая более захватывающий аудиовизуальный опыт.
Исследователи Корейского института механики и материалов (KIMM) недавно анонсировали «технологию аудиовизуального синтеза дисплеев», основанную на модульной сетчатой структуре. Эта технология устанавливает несколько вибрационных приводов на задней части панели дисплея, позволяя самому экрану стать большим динамиком и точно контролировать звук, излучаемый из определенных областей экрана.
Это означает, что когда кто-то говорит в левом верхнем углу экрана, его голос также будет синхронно передаваться из соответствующей области, как если бы он исходил непосредственно из положения рта персонажа. По мере изменения содержания изображения область звукового излучения также может перемещаться в реальном времени. Например, когда сфера быстро перелетает из одной стороны экрана в другую, звук также будет двигаться по той же траектории, тем самым усиливая ощущение пространства и реалистичности.
Исследователи отмечают, что люди естественным образом связывают источники звука с визуальными объектами в реальном мире. Люди могут определить местонахождение упавших предметов и определить, кто говорит с закрытыми глазами, поскольку звук сам по себе направленный. Однако визуальная информация и источники звука существующих устройств отображения обычно отделены друг от друга, и это несоответствие всегда влияет на эффект погружения.
Хотя стереосистемы и системы объемного звучания смогли создать ощущение направления посредством нескольких динамиков, звук по-прежнему в основном исходит от устройств, расположенных вокруг экрана, и на больших мониторах сложно полностью соответствовать определенному положению на изображении. Ранее существовало несколько решений, позволяющих панели дисплея напрямую излучать звук, но точка вывода звука обычно фиксирована и легко ограничивается размером экрана и диапазоном частот.
Новое решение команды KIMM обеспечивает динамический контроль положения источника звука и масштабируемую конструкцию. Прототип устройства, созданный исследователями, имеет размер около 100 дюймов и состоит из прозрачной светодиодной пленки и алюминиевой панели, за которой установлены 80 двигателей звуковой катушки (VCM). Эти двигатели будут двигаться вперед и назад после получения электрических сигналов, заставляя панель вибрировать и толкать воздух, образуя звуковые волны. Принцип аналогичен принципу традиционной диафрагмы динамика.
Однако добиться озвучивания определенной области экрана непросто. Поскольку вибрации распространяются по всей панели, усиливая или подавляя другие вибрации, трудно точно контролировать, откуда исходит звук. Чтобы решить эту проблему, исследовательская группа сначала проанализировала характеристики реакции каждой области панели на вибрацию, а затем использовала математический алгоритм под названием «псевдообратный метод Мура-Пенроуза» для расчета управляющего напряжения, необходимого для каждого двигателя, тем самым точно фокусируя энергию вибрации на целевой области.
Этот метод не просто запускает ближайший двигатель, а использует несколько двигателей для совместной работы, образуя локальное вибрационное поле на экране. Когда источник звука в видео движется, поле вибрации также будет перемещаться синхронно для достижения эффекта динамического отслеживания.
Локализация звука в реальном времени также сталкивается с еще одной проблемой. Волны вибрации в панели будут влиять друг на друга, и эффективность передачи разных двигателей в разные области также различна. Когда система постоянно пересчитывает положение движущейся цели, процесс управления может стать нестабильным.
В связи с этим исследовательская группа разработала набор алгоритмов избирательного возбуждения для исключения из расчета двигателей с низкой эффективностью передачи вибрации, а также разработала технологию, позволяющую плавно соединять непрерывные акустические сигналы для снижения шума и прерываний во время звукового движения.
Чтобы еще больше повысить уровень автоматизации, исследователи также внедрили технологию разделения и локализации источников звука на основе искусственного интеллекта. ИИ может автоматически идентифицировать звуковую цель на видеоэкране, извлечь соответствующий звук из сложного аудиосигнала, а затем точно проецировать его в соответствующую позицию на экране без ручного вмешательства.
Результаты испытаний показывают, что прототип системы имеет точность выбора целевой звуковой зоны 99,9%. Разница в амплитуде вибрации между активной и неактивной зонами достигает 35 децибел, что доказывает, что система способна сильно концентрировать вибрации в определенных зонах и эффективно подавлять вибрации в других зонах. Испытания с использованием акустической камеры также подтвердили, что положение вывода звука может постоянно следовать за движущейся целью на экране.
Соответствующие результаты исследования были опубликованы в журнале Mechanical Science and Technology. В настоящее время эта технология продемонстрировала хорошие возможности позиционирования вибрационного поля в низко- и среднечастотном диапазоне ниже 500 Гц.
Чтобы адаптироваться к устройствам отображения разных размеров, исследовательская группа приняла модульную конструкцию сетки. Несколько модулей дисплея можно свободно комбинировать или разделять по мере необходимости, поэтому теоретически его можно использовать для домашних телевизоров, а также можно расширить для коммерческих сценариев отображения, таких как большие светодиодные экраны и цифровые вывески. Исследователи также заявили, что когда несколько модулей работают одновременно, система может производить низкочастотный эффект, аналогичный эффекту большого низкочастотного динамика.
Исследовательская группа считает, что объединение звука и изображения на одной поверхности может значительно усилить эффект погружения аудитории. Ожидается, что в будущем эта технология будет использоваться не только в сфере телевидения, но и в таких сценариях, как медиаискусство, сценические представления, выставочные экспозиции и системы отображения, установленные на транспортных средствах.
Доктор. Джин Донгджун, руководитель исследовательского проекта, сказал, что команда планирует в дальнейшем распространить эту технологию на модульные системы сращивания светодиодных дисплеев и способствовать ее развитию в новое поколение базовой технологии, подходящей для широкого спектра устройств отображения.
Однако исследователи также признали, что, хотя система может имитировать некоторые эффекты большого басового блока, все же сложно полностью заменить профессиональную независимую звуковую систему с точки зрения общего качества звука, характеристик звукового давления и возможностей полнополосного покрытия. Несмотря на это, эта технология успешно решает давнюю проблему пространственного смещения «изображение в одном месте, а звук в другом», делая все на экране более реальным и естественным.
Комментарии