Фото: Jun Chen Lab / UCLA
CentralAsia (CA) - Биоинженеры из Калифорнийского университета в Лос-Анджелесе (UCLA) разработали устройство, похожее на перчатку, которое может переводить с языка жестов в режиме реального времени, пишет ABC. Пока на данный момент эксперимент был проведен на язык жестов, используемый в Соединенных Штатах, и соответствующего перевода на английский, но ученые не исключают возможность использовать эту системы с другими языками. Результаты исследования были опубликованы в журнале «Nature Electronics».
«Мы надеемся, что это устройство поможет людям, использующим язык жестов для непосредственного общения с теми, кто не владеет им, без необходимости переводить его для них», - говорит Джун Чен, доцент кафедры биоинженерии в UCLA Samueli School of Engineering и главный исследователь группы. «Кроме того, мы надеемся, что это поможет большему количеству людей выучить язык жестов». Как работает устройство
В частности, система состоит из пары перчаток с очень тонкими и эластичными датчиками, которые проходят вдоль всех пальцев. Эти приемники сделаны из электропроводящих проводов, фиксирующих движения рук и расположение пальцев, обозначающих отдельные буквы, цифры, слова и фразы.
Затем устройство преобразовывает движения в электрические сигналы, которые отправляются на печатную плату размером с монету, расположенную на тыльной стороне ладони, чуть выше запястья. Плата передает эти сигналы по беспроводной связи на смартфон, а он переводит их в слова со скоростью примерно одно слово в секунду. Во время эксперимента группа ученых работала с четырьмя глухими людьми, которые используют американский язык жестов. Они повторяли каждый жест рукой по 15 раз. Автоматический алгоритм машинного обучения, настроенный под конкретного человека, превращал эти жесты в буквы, цифры и слова, которые они обозначают. Система распознала 660 жестов, включая все буквы алфавита и цифры от 0 до 9. Кроме того, исследователи прикрепили дополнительные сенсоры на лица участников эксперимента, использующих жестовый язык. Электроды расположили между бровями и рядом со ртом, чтобы фиксировать выражение лица. Это не первое переносное устройство по синхронному переводу с языка жестов, но, по словам разработчиков, оно самое легкое и удобное в использовании. Устройство, разработанное командой ученых Калифорнийского университета в Лос-Анджелесе, создано из эластичных легких полимеров. Кроме того, как подчеркивают сами исследователи, они не очень дорогие, но «при этом довольно долговечные». Электронные сенсоры «считывающие» движения рук, также очень эластичные и недорогостоящие.