Зрение через звук: новые «умные» очки помогают слепым «видеть» с помощью звука

Вдохновившись эхолокацией летучих мышей, австралийские исследователи из Технологического университета Сиднея (UTS) совместно с сиднейским стартапом ARIA Research, разработали «умные» очки, которые помогают слепым и слабовидящим людям «видеть» с помощью звука. При создании очков, разработчики использовали технологию акустического осязания, известную как «акустическое прикосновение».

Зрение через звук

Очки переводят визуальную информацию в отчетливые звуковые представления, позволяя пользователям «видеть» окружающее пространство с помощью звука.

Для каждого объекта, находящегося в поле зрения пользователя, создается уникальный звуковой знак. Например, звук шелеста листьев может обозначать растение, а жужжание — мобильный телефон.


Очки, получившие название Foveated Audio Devices (FAD), состоят из очков дополненной реальности и Android-телефона OPPO Find X3 Pro. Благодаря интеграции аудиосигнала, камеры, системы отслеживания положения головы и игрового движка Unity 2022, FAD превращает объекты в отчетливые звуковые значки по мере их появления в поле зрения.

В исследовании, проведенном учеными, смарт-очки тестировали 14 взрослых участников, в том числе семь слепых и слабовидящих людей и семь зрячих участников с завязанными глазами. Исследование включало этап обучения и выполнение различных заданий, связанных со сканированием и озвучиванием предметов на столе, а также с навигацией в загроможденной среде при поиске предметов.

Результаты оказались поразительными. Носимое устройство значительно улучшило способность слепых и слабовидящих людей распознавать и доставать предметы с повышенной точностью и меньшими умственными усилиями. Слуховая обратная связь, обеспечиваемая очками, позволила пользователям более эффективно взаимодействовать с окружающей средой.


Ведущий автор работы Хоу Юань Чжу считает, что данная технология может стать неотъемлемой частью вспомогательных технологий для слабовидящих людей. При дальнейшем совершенствовании и развитии технология акустического осязания может произвести революцию в способах доступа и восприятия окружающей среды слепыми и слабовидящими людьми.

Используя возможности технологии, основанной на эхолокации, «умные» очки открывают новые возможности для людей с нарушениями зрения. Доступные и эффективные средства сенсорной аугментации, такие как FAD, способны изменить жизнь миллионов людей во всем мире, позволив им более независимо и уверенно ориентироваться в окружающем мире и взаимодействовать с ним.

Источник: Технологический Университет Сиднея

Понравилась статья? Поделись с друзьями!

ПОХОЖИЕ СТАТЬИ: 

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *