Вдохновленные использованием летучими мышами эхолокации, исследователи разработали умные очки, которые преобразуют визуальную информацию в уникальные звуковые представления, улучшая способность слепых и слабовидящих людей ориентироваться в окружающей среде. Эта технология может изменить мир для людей с нарушениями зрения. Вспомогательные технологии включают разработку технологий, которые позволяют людям с сенсорными нарушениями преодолевать препятствия в повседневной жизни. Слепота или слабое зрение (BLV) особенно влияет на способность человека выполнять повседневную деятельность и участвовать в социальной деятельности и взаимодействиях.

Умные очки, разработанные исследователями, могут преобразовывать визуальную информацию в уникальные звуки, чтобы помочь слепым людям «увидеть» мир.

Широкая область исследований вспомогательных технологий — это использование визуальной, тактильной/тактильной и слуховой обратной связи как средства усиления чувств. Теперь исследователи из Сиднейского технологического университета (UTS) разработали умные очки следующего поколения, которые могут помочь людям без нарушений зрения «видеть», преобразуя визуальную информацию в уникальные звуковые символы, так называемые «акустические тактильные ощущения».

«Умные очки обычно используют компьютерное зрение и другую сенсорную информацию для перевода окружающей среды пользователя в компьютерно-синтезированную речь», — сказал Линь Цинтэн, один из соавторов исследования. «Однако технология акустического касания акустически обрабатывает объекты, создавая уникальное звуковое представление, когда объект попадает в поле зрения устройства. Например, звук шелеста листьев может представлять собой растение, а гудящий звук может представлять собой мобильный телефон».

Исследователей вдохновило использование эхолокации летучими мышами, которые излучают звуковые волны, отражающиеся от объектов, а возвращаемое эхо предоставляет такую ​​информацию, как размер объекта и расстояние.

FAD состоит из набора очков дополненной реальности и Android-телефона OPPO Find X3 Pro. UnityGameEngine2022 может управлять аудиовходом и выходом отслеживания камеры/головы очков. Таким образом, когда объект попадает в поле зрения устройства, FAD может преобразовать его в четкий звуковой значок.

Исследователи протестировали свои очки на 14 взрослых участниках, семи без нарушений зрения и семи с нормальным зрением, которым были завязаны глаза и которые служили контрольной группой. Исследование состояло из фазы обучения, задания сидя (использование FAD для сканирования предметов на столе и издания звуков) и задания стоя (изучение эффективности FAD, когда участники ходили и находили предметы в захламленной обстановке). В исследовании использовались четыре предмета: миска, книга, чашка и бутылка.

Они обнаружили, что носимое устройство значительно улучшило способность людей без нарушений работы мозга идентифицировать и находить объекты, не затрачивая слишком много умственной энергии.

Хоу Юань Чжу, первый автор и соответствующий автор исследования, сказал: «Слуховая обратная связь позволяет пользователям идентифицировать объекты и прикасаться к ним с большой точностью. Наши результаты показывают, что акустическое прикосновение потенциально может стать портативным и эффективным методом улучшения сенсорных ощущений для людей с ослабленным зрением».

С некоторыми изменениями технология акустического прикосновения может стать неотъемлемой частью вспомогательных технологий, позволяя людям с нарушениями зрения иметь лучший доступ к своей среде обитания, чем раньше.

Исследование было опубликовано в журнале PLOSOne.