Выпускник НГТУ НЭТИ Алексей Приходько завершил работу над прототипом системы, которая переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. Это единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.
Основная функция программы, над которой работает Алексей Приходько, – это перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.
«Я – исполнитель, я же – и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», – утверждает Алексей Приходько.
Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.
«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система – это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», – объяснил Приходько.
Безмаркерная система при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.
«Если модель определяет, например, что пальцы раскрыты – буква В, если пальцы собраны – О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», – рассказал Алексей Приходько.
Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Приходько планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.
В настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика.
Алексей Приходько не слышит с детства, его семья – тоже. Он окончил бакалавриат НГТУ НЭТИ по специальности «Информатика и вычислительная техника». В 2015 году он получил степень магистра на факультете автоматики и вычислительной техники НГТУ НЭТИ, в августе 2019 года окончил аспирантуру на кафедре автоматизированных систем управления университета.