Исследователи работают над прототипом системы EgoTouch, отображающей интерфейс на ладони. При тестировании она показала точность обнаружения прикосновения до 96%.
В настоящее время прототип системы EgoTouch разрабатывается аспирантом Вималом Моллином и учеными из Института взаимодействия человека и компьютера Университета Карнеги-Меллона. Они пересматривают концепцию размещения тактильных интерфейсов, подобных сенсорным экранам, на телах пользователей VR-шлемов.
Предыдущие исследования показали, что такие интерфейсы обладают значительными преимуществами в скорости, точности и эргономике по сравнению с обычно используемыми «воздушными», которые накладывают на мира виртуальной реальности пользователя. Одна из проблем интерфейсов «на теле» заключается в том, что они обычно требуют использования специальных камер зондирования. Камеры отслеживают местоположение части тела в реальном мире. Чтобы упростить технологию, EgoTouch просто использует существующую оптическую RGB-камеру VR-гарнитуры.
Когда реальный палец пользователя нажимает на ладонь, камера улавливает возникающие тени и деформацию кожи. Сопоставляя местоположения этих визуальных индикаторов с виртуальным интерфейсом, отображаемым на ладони, можно определить, какие опции выбираются в мире VR. Для обучения алгоритма, команда Моллина попросила группу добровольцев нажимать указательным пальцем на различные места на ладони, надев на голову RGB-камеру.
У добровольцев были разные условия освещения, тон кожи и густота волос. Сопоставляя данные камеры с датчиком, алгоритм узнал, какие визуальные образы соответствуют реальному местоположению, интенсивности и продолжительности прикосновения. Моллин отметил, что впервые исследователи используют систему, которая просто использует камеру, уже установленную на всех существующих гарнитурах. Данные модели не требуют калибровки и начинают работать сразу, как пользователь достает их из коробки. Об этом сообщает New Atlas.
Источник: Carnegie Mellon University