Разработано приложение, способное распознавать и интерпретировать алфавит испанского языка жестов

Группа робототехники и трехмерного зрения (RoViT) Университета Аликанте (UA) разработала первое приложение, способное распознавать и интерпретировать алфавит испанского языка жестов (известный под аббревиатурой LSE) в режиме реального времени. Приложение называется Sign4all и представляет собой прорыв, который помогает разрушить коммуникативные барьеры между глухими и слышащими людьми в повседневных ситуациях, таких как поход к врачу или прием пищи в ресторане. Согласно последнему исследованию ситуации с инвалидностью, личной автономией и зависимостью, проведенного Испанским национальным статистическим институтом (INE), в Испании насчитывается 1 230 000 человек с нарушениями слуха различных типов и степеней. Из них 27 300 человек используют язык жестов для общения. Благодаря использованию различных методов компьютерного зрения и глубокого обучения , к.т.н. инженер-компьютерщик и исследователь UA Эстер Мартинес вместе с доктором философии. Студент Франсиско Морильяс разработал этот недорогой инструмент, чтобы иметь возможность предлагать помощь глухим людям , когда им не может помочь переводчик. Sign4all, после извлечения деталей скелета рук и кистей, кодирует левую сторону тела синим цветом, а правую — красным, сохраняя анонимность пользователя в любое время. С этого момента приложение переводит используемый глухим человеком знак в режиме реального времени и в обратном направлении. Он может использовать виртуальный аватар для подписи испанских слов, набранных слышащим человеком. Идея состоит в том, что весь этот процесс можно выполнить, загрузив приложение и используя камеру самого мобильного телефона или планшета, чтобы его можно было использовать где угодно, как объяснил Мартинес. По словам исследователя UA, после многих тестов Sign4all удается интерпретировать и распознавать алфавит LSE с точностью до 80%. Хотя этот результат соответствует дактилологическому алфавиту, они работают над версией со специальным словарным запасом, относящимся к области повседневных задач, где они могут интерпретировать полные предложения. Команда UA месяцами обучала эту новую систему, вводя все больше и больше знаков. В этом смысле возникло сотрудничество с Исследовательской группой испанского языка и жестовых языков Университета Виго (GRILES), командой с большим опытом изучения этого языка и его использования на разных территориях. Университет Виго собирает изображения с интерпретаторами, а UA обрабатывает все эти данные. Таким образом, словарный запас системы распознавания и интерпретации LSE может быть улучшен и расширен гораздо быстрее....

Сообщает android-robot.com

Новость из рубрики:

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ новости часа

23:00, 13 Июн Разработано приложение, которое изменит опыт езды на велосипеде по городу Международная группа исследователей под руководством Института экологических наук и технологий Автономного университета Барселоны (ICTA-UAB) недавно запустила мобильное приложение, призванное сделать городские районы более пригодными для езды на вел...

13:00, 07 Окт Разрабатывают решения искусственного интеллекта для включения арабского языка и его диалектов в обработку естественного языка Группа исследователей и инженеров из Университета Шарджи разработала систему глубокого обучения для использования арабского языка и его разновидностей в приложениях, связанных с обработкой естественного языка (НЛП), междисциплинарной областью лингви...

23:00, 29 Мар Подспорье для налогов: YouTube научился распознавать товары в видео Видеохостинг YouTube, принадлежащий Google, внедрил новую технологию. Особые нейросети будут анализировать ролики и выделять товары, рекламируемые блогерами. Пока программу называют тестовой, но разрабатывается она уже несколько лет. Новые нейросети...

09:34, 19 Мар Важность английского языка для обучения Английский — один из самых распространенных языков в мире. Он считается международным языком бизнеса, науки и технологий. В результате английский становится все более важным для студентов, которые хотят добиться успеха в своей академической и профес...

17:46, 03 Ноя Изучение корейского языка - это увлекательное и полезное занятие Курсы корейского языка: Изучение и Возможности Корейский язык привлекает внимание людей со всего мира своей уникальной алфавитной системой и богатой культурой. Если вы задумались об изучении корейского языка, то курсы - это отличный способ начать в...

07:00, 07 Ноя Словарь английского языка назвал ИИ словом года Словарь английского языка Collins, издающийся в Великобритании, назвал ИИ словом года. Об этом пишет ВВС. "Революционная языковая модель на основе ИИ ворвалась в общественное сознание в конце 2022 года, поразив нас своей способностью имитировать ест...

01:00, 28 Июл Что такое web-приложение и чем оно отличается от сайта Web-приложение и сайт – два понятия, которые часто путают и смешивают. Однако, это две разные вещи. В данной статье мы рассмотрим, что такое web-приложение и чем оно отличается от сайта. Что такое web-приложение Web-приложение – это программное обес...

Магомед Оздоев: Легионеры должны учить русский. Надо ввести правило, как в Германии, в обязательном порядке. Знание языка уважение к культуре страны 21:00, 03 Ноя Магомед Оздоев: «Легионеры должны учить русский. Надо ввести правило, как в Германии, в обязательном порядке. Знание языка – уважение к культуре страны» – Кузяев в Гавре вовсю учит французский. – Далер – молодец, пусть учит французский. Знание языка – это уважение к культуре той страны, в которой находишься. Невозможно вечно ходить с переводчиком. Я всегда такого же мнения придерживался по отношению...

12:00, 29 Май Десктопное приложение на jаvascript: особенности и преимущества jаvascript (JS) представляет собой популярный язык программирования, который востребован в создании веб-страниц и веб-приложений. Он был запущен в 1995 году и стал одним из самых востребованных языков в сфере информационных технологий благодар...

15:00, 27 Июл Приложение «VK Знакомства» стало доступно для iPhone Команда социальной сети «ВКонтакте» объявила о выпуске версии приложения «VK Знакомства» для операционной системы iOS. Ранее «VK Знакомства» в виде отдельного приложения было доступно только для мобильных устройст...

23:00, 18 Фев Образовательное приложение: у Дії появится "сестра" Мрія Правительство согласовало создание образовательного приложения, которое будет называться Мрія. При этом в пятницу, 16 февраля, сообщила пресс-служба Минцифры. "Уже скоро запустим образовательное приложение Мрія – Правительство приняло соответствующе...

00:00, 06 Дек Twitter протестирует новое приложение с похожим названием Всех возможностей нового приложения пока не раскрывают, тем не менее, если режим тестирования пройдет удачно, программа станет доступна для пользователей в ближайшее время. Специалисты компании Twitter занимаются разработкой нового приложения с похо...

13:02, 11 Фев Укрзализныця на ладони - мобильное приложение покупки ж/д билетов Современные технологии неизбежно меняют наш образ жизни, и мобильные приложения становятся незаменимыми инструментами для облегчения повседневных задач. В этой связи, мобильные приложения для заказа ж/д билетов предоставляют уникальную возможность п...

12:00, 05 Дек В Украине появилось приложение для мониторинга отключений света Украинские разработчики на фоне отключения электричества из-за атак России создали приложение Світло с мониторингом блэкаутов. Разработка принадлежит Ивану Денисову и Андрею Захлюпаному, сообщает AIN.UA. В приложении можно добавлять локации и монито...

11:00, 18 Янв В Украине появилось приложение для кибератак на российские сайты Одесская группа Технари создала приложение для смартфонов под названием Цифрова бавовна. Оно предназначено для автоматических DDoS-атак российских сайтов. Подробности приводит издание DOU. По словам одного из разработчиков и сооснователя ресурса IT ...

00:00, 27 Май Официальное приложение ChatGPT для iPhone и iPad стало доступно в 46 странах, включая Азербайджан Компания OpenAI объявила, что ее официальное приложение ChatGPT для iPhone и iPad с полной функциональностью стало доступно в 46 странах мира. На прошлой неделе приложение было доступно только в App Store для США. Для работы приложения ChatGPT требу...

11:00, 05 Апр DeepMind разрабатывает SAFE, приложение на основе искусственного интеллекта, которое может проверять факты Команда специалистов по искусственному интеллекту из Google DeepMind разработала систему на основе искусственного интеллекта под названием SAFE, которую можно использовать для проверки фактов результатов LLM, таких как ChatGPT. Группа опубликовала д...

13:00, 19 Ноя Альфа-Инвестиции временно вернули в App Store. Скачивай приложение Свежие идеи, но не перепутай с Альфа-Банком В 2023 году практически все банки смирились с тем, что их приложений нет в App Store и придумали обходные пути. Лучше всех сработал Тинькофф, который устанавливает его практически на дому, а также Сбер — его можно скачать в любом отделении. Та...