Научный коллектив Пензенского госуниверситета создает адаптивную среду виртуальной реальности. По словам д-р техн. наук, заведующего кафедрой «Радиотехника и радиоэлектронные системы» Александра Тычкова, их проект не только обучит людей пользоваться возможностями виртуальной реальности, но и повысит результативность комплексной реабилитации.
Научная работа в области создания научно-технологического решения с использованием достижений информационных технологий и цифровых интеллектуальных систем началась в 2019 году. Пензенских исследователей поддержали несколько проектов: НОЦ «Инженерия будущего», Фонд содействия инновациям и ректорские гранты ПГУ. Кроме того, настоящий проект разрабатывается как междисциплинарный в тесном сотрудничестве ученых различных подразделений университета: Управления комплексного развития инклюзивного образования, Научно-исследовательского института фундаментальных и прикладных исследований, Педагогического, Политехнического и Медицинского институтов.
В 2023 году Управлением комплексного развития инклюзивного образования ПГУ был выигран конкурс на выполнение госзадания по развитию в Российской Федерации системы комплексной реабилитации и абилитации инвалидов, в том числе детей-инвалидов. Кроме того, организована новая научно-исследовательская лаборатория «Ресурсное обеспечение системы комплексной реабилитации детей-инвалидов с психическими расстройствами».
Фундаментальное научное исследование рассчитано на три года. Создаваемая комплексная система реабилитации людей с ментальными нарушениями будет апробирована в пяти субъектах России: Пензенской, Московской, Нижегородской, Ленинградской областях и в Татарстане. После модель будет растиражирована как типовая по всей территории России.
В настоящее время между Пензенским государственным университетом и Министерством труда, социальной защиты и демографии Пензенской области заключено соглашение. Министерство предоставляет экспериментальную площадку, на которой силами ученых ПГУ будет создаваться модельный Центр дневного пребывания людей с ментальными нарушениями (там в основном и будет проходить апробация системы).
«Научное исследование направлено на создание комплексного научно-технологического решения по реабилитации детей-инвалидов с использованием достижений информационных технологий и цифровых интеллектуальных систем, с применением „сквозных” технологий на стыке виртуальной реальности и персонифицированной медицины. В том числе через создание центров дневного пребывания», — поделилась Оксана Симакова, канд. пед. наук, начальник Управления комплексного развития инклюзивного образования ПГУ.
Предлагаемый центр путем формирования доступной среды, необходимой для восстановления и компенсации временных (постоянных) нарушений здоровья, будет обеспечивать автономность человека, имеющего инвалидность, повысит качество их жизни, социальной и других видов активности инвалидов. А также лиц с временными или постоянными ограничениями здоровья.
Работа ведется одновременно в нескольких направлениях: медицинском, психолого-педагогическом, социально-реабилитационном и инженерно-прикладном. Первое реализуют представители Медицинского института ПГУ. Они разрабатывают современные методы реабилитации, обладающие высокой эффективностью и позволяющие в значительной степени компенсировать негативные последствия нейропатогенных и других патологических процессов. Второе — сотрудники управления КРИО. А третье — научный коллектив Политехнического института и Научно-исследовательского института фундаментальных исследований, которые уже имели наработки в области использования виртуальной реальности и способов интеллектуальной обработки физиологических сигналов для исследования поведения человека в условиях иммерсивной среды.
Главная цель, которую ставят перед собой ученые, — регуляция нервной системы людей с нарушениями для того, чтобы их мозг лучше воспринимал и усваивал информацию.
«Виртуальная реальность создает эффекты, проецируемые на сознание человека, и позволяет испытывать ощущения, максимально приближенные к реальным. Тем самым создает предпосылки безбарьерной адаптации детей-инвалидов к внешним и внутренним „раздражителям”», — отметил Александр Тычков.
Участниками эксперимента стали более 180 людей в возрасте от 8 до 20 лет с ментальными нарушениями.
«Эксперимент показал, что необходима разработка структуры функционирования адаптивной виртуальной реальности для контроля над психическими расстройствами и расстройствами поведения с последующим применением когнитивно-поведенческой терапии в среде виртуальной реальности, способствующей изменять деструктивные модели познания и поведения. А также обеспечивающей функционирование виртуальной реальности в сценах и стимулах, вызывающих неспецифические изменения сигнальных паттернов», — добавила Оксана Сергеевна.
Зная закономерности патогенетических механизмов психических заболеваний и эпигенетического влияния социально-средовых факторов на течение заболевания, можно различными средствами эффективно влиять на отдельные ее звенья, ускоряя процесс реабилитации и включения в меняющиеся условия среды, то есть управлять реабилитационным процессом. Уверена Оксана Симакова.
Отметим, в ПГУ молодые ученые и студенты давно заинтересованы разработкой сцен виртуальной реальности. Например, они создали сцены виар для космических туристов. Это открыло возможность для многих студентов и преподавателей Пензенского госуниверситета побывать в космосе. Для этого достаточно посетить Студенческий научно-производственный бизнес-инкубатор ПГУ.
На протяжении нескольких лет коллектив Пензенского госуниверситета проводит исследование тревожно-фобических расстройств человека. Для этого привлекаются специалисты из медицины. Предварительно врач проводит общий осмотр человека, погружающегося в виртуальную реальность, беседует с ним, проводит тестирование. Первый этап исследования — субъективная оценка. Второй — объективная оценка (снятие физиологических данных: электрокардиограмма (ЭКГ) и электроэнцефалограмма (ЭЭГ)). После обработки физиологических сигналов делается вывод об особенностях поведения человека в среде виртуальной реальности.
Сцены виртуальной реальности разрабатывает внештатный специалист-эксперт Руслан Золотарев. Он нашел новаторское решение, связанное с построением моделей виар. Сцены проектируются в программной среде Unreal Engine. В любой сцене находится множество объектов. Каждый требует работы над ним. Для того чтобы объект привести в движение, то есть сделать его реалистичным, требуется его тиражирование. Это можно сделать при помощи специального программного решения. Его тоже создали в ПГУ. Оно имеет преимущество над известными технологическими решениями.
«В сценах виртуальной реальности мы встречаем множество объектов. Например, сцена городской среды. Мы увидим там многоэтажные дома, автомобили, горожан, различные магазины. Некоторые из них требуется „оживить”, то есть они должны двигаться, лететь, ездить», — поделился Руслан Золотарев.
Устройство, с которого транслируется сцена виртуальной реальности, будет обращаться к размноженным объектам несколько сотен раз без аппаратных и дополнительных программных затрат.
А код, написанный в ПГУ, позволяет размножать модели объектов в неограниченном количестве всего в один клик. Разработанная «Программа оптимизации построения статистических объектов виртуальных сцен, изменяющих мозговую активность в среде Unreal Engine» оптимизирует и ускоряет процесс построения дальнейших сцен виртуальной реальности.
«Наша программа реализует алгоритм создания копий статистических объектов и позволяет создавать большие массивы объектов без нагрузки на процессор и видеокарту», — добавил Золотарев.
В ПГУ на базе бизнес-инкубатора собран полноценный комплекс инструментария для погружения в виртуальную реальность: очки виртуальной реальности, джойстики и платформа полного погружения, созданные нейроинтерфейсы и электроэнцефалограф.
Две программы: «Программа спектрального анализа пиковой активности (максимальной мощности) ЭЭГ детей с ментальными нарушениями при погружении в виртуальную реальность» и «Программа амплитудного анализа изменений индекса ритма волн ЭЭГ у детей с ментальными нарушениями при погружении в виртуальную реальность», направлены на обработку поступивших сигналов.
Один из разработчиков программ — студент ПГУ Денис Чернышов пояснил, что получаемый сигнал может содержать множество информативных составляющих и внешних помех:
«Это связано с тем, что электроды постоянно регистрируют электрическую активность головного мозга и различные внешние артефакты, формируемые внешней средой».
Программы проводят постобработку данных электрической активности головного мозга. Затем они предоставляют результаты в наглядном графическом виде. Программы позволяют обработать массив данных и привести его в вид, позволяющий их сравнить и анализировать.
«Использование аудиовизуального контакта с пользователями будет способствовать восстановлению здоровья и улучшению самочувствия. Медицинская реабилитация с применением аудиовизуального контакта, в том числе через виар, поможет качественно улучшить жизнь людей», — поделилась Софья Тверская, ассистент кафедры «Радиотехника и радиоэлектронные системы», разработчик программ.
У детей, имеющих ментальные нарушения, наблюдаются дефекты речи: заикание, дислалия, дизартрия, ринолалия и многое другое. У каждого дефекта свои признаки. Планируется, что разработанные программы смогут определять, какой именно вид нарушения речи у человека и как его можно лечить.
«Некоторые нарушения могут иметь одни и те же признаки, то есть отделить одно от другого бывает трудно. А программы ищут сходства и различия. Мы только в самом начале пути. Сейчас работаем над новыми алгоритмами, которые будут лучше идентифицировать признаки определенного нарушения», — рассказал Денис Чернышов.
С помощью «Программы обнаружения и классификации естественных эмоциональных состояний человека по речи на основе рекуррентной нейронной связи» коллектив ПГУ распознает эмоциональное состояние человека в момент погружения в виртуальную реальность.
Запись речи людей с ментальными нарушениями происходит с помощью программы. Она на выходе выдает результат о том, какой именно вид отклонения речевого развития наблюдается в конкретном случае. В настоящее время программа может определять только ярко выраженные признаки.
Но, стоит заметить, что в будущем она сможет идентифицировать почти все типы нарушений, так как в ее основе лежит нейронная сеть.
«Рекуррентные нейронные сети запоминают определенное состояния и анализируют то, что было раньше. Программа работает в реальном времени. Мы продолжаем обучать нейронную сеть. Планируем, что в итоге она сможет определить конкретное нарушение», — рассказал один из разработчиков, директор Студенческого научно-производственного бизнес-инкубатора Научно-исследовательского института фундаментальных и прикладных исследований ПГУ Алан Алимурадов.
В настоящее время программа уже способна определять отрицательные, положительные и нейтральные эмоции. В нее заложены параметры соответствия каждому состоянию.
«Программа на основе обученных данных эмоциональных состояний человека классифицирует поступающий сигнал. Затем выдает результат, что человек испытывает: гнев, страх, испуг», — добавил Алан Алимурадов.
Ученые уверены, что погружение в виртуальную реальность для детей с ментальными нарушениями будет плодотворно влиять на их здоровье и самочувствие, и обязательно будет наблюдаться положительная динамика.
«У такой категории детей при погружении в виртуальную реальность улучшаются моторика и речь. После нескольких погружений мы заметили, что на какое-то время ребенок начинает лучше говорить», — рассказал Руслан Золотарев.
Главной своей задачей коллектив ставит изучение влияния виртуальной реальности на течение заболевания людей с ментальными нарушениями.
Детям предлагается на время стать космонавтами или прогуляться по морскому побережью.
«Важно выяснить, как погружаемые реагируют на разные сюжетные ситуации. Программа в этом нам помогает», — добавил Руслан Золотарев.
Исследователи так же заметили, что сеансы погружения в иммерсивную среду эффективнее в динамике. Поэтому занятия с детьми проводятся по несколько раз.
«Результаты показывают, что аудиовизуальный контакт плодотворно влияет на общее состояние детей. Поэтому погружения строятся на принципе терапии. Мы наблюдаем накопительный эффект», — поделилась Софья Тверская.
В этом направлении научный коллектив ПГУ продолжает работу.
«Виар — это очень мощный побудитель. Он стимулирует мозг. Уверен, что таким образом мы можем формировать новые навыки, умения, а также убирать негативные проявления поведения», — поделился Руслан Золотарев.
В вузе также создали многоосевую платформу виртуальной реальности. Макет платформы связан с компьютером, который транслирует виар-сцены. Кольца, в которые помещен человек, поворачиваются в нужную сторону и с необходимым ускорением.
Для платформы исследователи разработали программное обеспечение. Ей управляет блок управления, а через беспроводную связь Bluetooth платформе подаются нужные команды.
Этим всем управляют несколько программ: первая управляет макетом платформы, вторая обрабатывает поступающие значения, и третья написана для устройства — смартфона. С ее помощью платформой можно управлять дистанционно.
«Платформа поможет сделать погружение реалистичнее, заставит мозг сильнее обмануться. В будущем планируем собрать полноразмерную многоосевую платформу, в которую можно будет поместить человека. Платформу также предполагается дополнить экзоскелетом», — поделился разработчик, аспирант ПГУ Александр Иванов.
Отметим, экзоскелет поможет восполнить утраченные функции, увеличит силы мышц человека и расширит амплитуду движений за счет внешнего каркаса и приводящих частей.
Предполагается, что платформу можно будет использовать для реабилитации людей с нарушениями опорно-двигательной системы.
А пока научный коллектив Пензенского государственного университета продолжит работу над госзаданием. Главная их цель — помочь адаптироваться и реабилитироваться людям с ментальными нарушениями в социуме.