Разработано приложение, способное распознавать и интерпретировать алфавит испанского языка жестов

Группа робототехники и трехмерного зрения (RoViT) Университета Аликанте (UA) разработала первое приложение, способное распознавать и интерпретировать алфавит испанского языка жестов (известный под аббревиатурой LSE) в режиме реального времени. Приложение называется Sign4all и представляет собой прорыв, который помогает разрушить коммуникативные барьеры между глухими и слышащими людьми в повседневных ситуациях, таких как поход к врачу или прием пищи в ресторане. Согласно последнему исследованию ситуации с инвалидностью, личной автономией и зависимостью, проведенного Испанским национальным статистическим институтом (INE), в Испании насчитывается 1 230 000 человек с нарушениями слуха различных типов и степеней. Из них 27 300 человек используют язык жестов для общения. Благодаря использованию различных методов компьютерного зрения и глубокого обучения , к.т.н. инженер-компьютерщик и исследователь UA Эстер Мартинес вместе с доктором философии. Студент Франсиско Морильяс разработал этот недорогой инструмент, чтобы иметь возможность предлагать помощь глухим людям , когда им не может помочь переводчик. Sign4all, после извлечения деталей скелета рук и кистей, кодирует левую сторону тела синим цветом, а правую — красным, сохраняя анонимность пользователя в любое время. С этого момента приложение переводит используемый глухим человеком знак в режиме реального времени и в обратном направлении. Он может использовать виртуальный аватар для подписи испанских слов, набранных слышащим человеком. Идея состоит в том, что весь этот процесс можно выполнить, загрузив приложение и используя камеру самого мобильного телефона или планшета, чтобы его можно было использовать где угодно, как объяснил Мартинес. По словам исследователя UA, после многих тестов Sign4all удается интерпретировать и распознавать алфавит LSE с точностью до 80%. Хотя этот результат соответствует дактилологическому алфавиту, они работают над версией со специальным словарным запасом, относящимся к области повседневных задач, где они могут интерпретировать полные предложения. Команда UA месяцами обучала эту новую систему, вводя все больше и больше знаков. В этом смысле возникло сотрудничество с Исследовательской группой испанского языка и жестовых языков Университета Виго (GRILES), командой с большим опытом изучения этого языка и его использования на разных территориях. Университет Виго собирает изображения с интерпретаторами, а UA обрабатывает все эти данные. Таким образом, словарный запас системы распознавания и интерпретации LSE может быть улучшен и расширен гораздо быстрее....

Сообщает android-robot.com

 

Новость из рубрики:

 

Поделиться новостью:

 

Топ новости часа

• +278,83% (17400 пунктов) за 12 мес по паре GBP/USD — Тест стратегии форекс «ChaSyBi»...
• Чемпионат России. «Спартак» в гостях у «Оренбурга», «Динамо» против «Урала», ЦСКА сыграет с «Зенитом» в воскресенье...
• Иск против «Барсы», допуск российских фехтовальщиков, задержан метатель банана, грант Навки, баттл Смородской и Заремы и другие новости...
• AMD рассказала о видеокартах следующего поколения. В интервью были затронуты в основном вопросы, связанные с ИИ в RDNA 4...
• Выставка мобильных технологий MWC продемонстрирует новые телефоны, искусственный интеллект и метавселенную...
• Первый отечественный аппарат в современной России на Луне. Запуск станции «Луна-25» назначен на 13 июля 2023...