Время на прочтение:4мин
Исследования в области распознавания эмоций вычислительными системами, основанными на возможностях машинного обучения, нейронных сетей и искусственного интеллекта, на сегодняшний день являются перспективными и востребованными.
Разработки методов, алгоритмов, систем и устройств регистрации, анализа и интерпретации человеческих чувств и эмоций ведутся во всех технологически развитых странах. Реальные возможности применения этих технологий обусловлены вариативностью и ростом объемов использования.
Кластер технологий по сбору эмоциональных реакций имеет тенденцию к постоянному расширению, от анализа лайков до мультимодального анализа настроений и эмоций, основанных на компьютерном зрении (CV), автоматическом распознавании речи, обработке естественного языка (NLP) и других сигналов.
Так, мультимодальная модель генеративного ИИ GPT-4o анализирует текст, изображение, аудио и видео в режиме реального времени и способна «определять» эмоции пользователя.
Искусственный интеллект, который распознает и интерпретирует человеческие эмоции, называют эмоциональным ИИ (EAI). Развитие данных технологий является важным шагом на пути становления сильного ИИ (AGI).
Значительная часть технологических решений этого кластера способна определять как положительную, нейтральную и отрицательную эмоциональную окраску текста, аудио и видео, так и простые (базовые) эмоции человека: страх, гнев, грусть, радость, удивление, отвращение и некоторые другие.
На сегодняшний день активно ведутся работы по созданию формальных моделей эмоций и обучению ИИ пониманию сложных (социальных) эмоций, тонкостей человеческих чувств и общественных взаимоотношений.
Основные способы распознавания эмоций.
Распознавание эмоций по мимике – это наиболее представленное направление в кластере. Основные способы определения эмоций компьютерным зрением по фиксированному и меняющемуся изображению лица основаны на анализе ключевых точек (facial landmarks), которые размечают и привязывают к положению бровей, глаз, губ, носа, челюсти.
Классификаторы, используемые для распознавания эмоций по изменениям в микровыражениях лица, основаны на методе опорных векторов (SVM), сверточных нейронных сетях (CNN) и др.
Такие системы могут точно подмечать мельчайшие изменения в микровыражениях лица, оценивать их интенсивность и эмоциональное значение.
Распознавание эмоций по активности глаз представляет наиболее опасное направление в кластере. Метод заключается в распознавании эмоций человека путём отслеживания компьютерным зрением таких параметров как: длительность фиксации зрачков, амплитуда и динамика саккад (быстрых согласованных движений глаз), изменения в диаметре зрачков, частота моргания и других.
Внедрение и скрытое использование подобных технологий позволит цифровым технологическим компаниям проводить автоматический глубинный анализ интересов и предпочтений, тематических и психологических уязвимостей каждого пользователя на основе анализа просматриваемого им контента.
Распознавание эмоций по тексту и речи – перспективное направление в кластере, позволяющее маркировать большую часть наколенной и поступающей в сеть Интернет информации, включая веб-страницы, новостные платформы, обзоры и отзывы, блогосферу и социальные медиа.
Инструменты автоматического распознавания речи, алгоритмы NLP и другие направления компьютерной лингвистики позволяют анализировать тексты и речь для определения их тональности на основе тезаурусов, размеченных с учётом эмоциональной составляющей, и классификации с использованием машинного обучения такого, как: метод опорных векторов, мешок слов, ансамблевое обучение, сверточная нейронная сеть, скрытый семантический анализ и др.
Распознавание эмоций по голосу. В рамках данного подхода осуществляется определение человеческих эмоций с помощью фонетической составляющей речи без привязки к её смысловой составляющей, т.е. по голосу.
Основные голосовые характеристики, по которым определяется эмоция: громкость, скорость, тон, прерывистость пауз, интонация и ритмичность речи.
Наиболее часто используемые классификаторы для распознавания эмоций в речи и голосе: линейные дискриминантные классификаторы, k-ближайший сосед, модель гауссовой смеси, метод опорных векторов, искусственные нейронные сети, алгоритмы дерева решений и скрытые марковские модели.
Распознавание эмоций по физиологическим сигналам. Направление подразумевает определение и диагностику аффективного состояния человека путем мониторинга и анализа его физиологического состояния с помощью специального оборудования или электронных устройств.
Основными анализируемыми признаками в направлении выступают: работа сердца и объёмный пульс крови, артериальное давление, электрическая активность кожи, мозга и лицевых мышц, колебания кровотока лицевых мышц и др.
Мультимодальное распознавание эмоций – это подход, основанный на сочетании и взаимодополнении нескольких способов распознавания в одной технологии. Сегодня к такому походу стремятся основные лидеры в кластере как наиболее точному, эффективному и перспективному решению задачи.
Модули могут быть представлены параллельной оценкой смысловой и фонетической составляющей речи или наблюдением за выражениями лица с одновременной записью и анализом голоса. Более сложные системы наряду с мимикой и речью пытаются анализировать жесты и окружающую обстановку.
В связи с вышеизложенным и в соответствии с основными прогнозами большинство технологических решений по распознаванию эмоций будет связано с мультимодальным анализом.
Основные области применения технологий.
Технологии распознавания эмоций и системы прогнозирования и поддержки принятия решений на их основе используются во многих сферах.
Наука. Анализ сведений, полученных благодаря использованию технологий способствовал переоценке существующих теорий в психологии и её развитию. Ожидается, что использование EAI внесет значительный вклад в нейронауки.
Безопасность. Распознавание эмоций в общественных местах применяется в целях предотвращения агрессии, насилия и других противоправных действий.
Здравоохранение. Оценка психоэмоционального состояния с помощью специального оборудования или электронных устройств в целях контроля состояния здоровья, включая ментальное и эмоциональное состояние.
Образование. Применение EAI в системах мониторинга обучающихся, режим онлайн, с целью оценки внимательности, вовлеченности и эмоционального состояния учеников.
Транспорт. Технологии EAI в системах «умного» салона для отслеживания состояния водителя способствуют повышению безопасности вождения, предотвращению автомобильных аварий и дорожных происшествий.
Маркетинг и ритейл. Возможность мониторинга и экспертизы интересов и потребностей покупателей, а также человеческих реакций на конкретные товары и рекламу в целях повышения продаж.
Человеко-машинное взаимодействие. EAI всё чаще используется в робототехнике, бытовой технике, современных чат-ботах, голосовых помощниках и других технических и цифровых продуктах, осуществляющих взаимодействие с человеком.
Игровая индустрия. Системы по распознаванию эмоционального состояния геймера персонализируют игровой процесс в зависимости от настроений и реакций на конкретные события сюжета.
Социальные сети и видеоплатформы. Технологии распознавания эмоций активно внедряются цифровыми компаниями для анализа психографики и психотипа медиапотребителей в целях осуществления персонализации доставки контента и дополнительной корректировки рекомендательных алгоритмов.
Пропаганда и информационная война. Глубинный анализ эмоционально-психологических реакций и психотипа пользователей может быть использован недружественными государствами для осуществления гиперперсонализированной доставки контента в целях оказания долгосрочного влияния на население или проведения информационно-психологических операций.
Киберпреступность. Технологии EAI могут быть использованы мошенниками для выявления потенциальных жертв и корректировки тактики психологического манипулирования.
Таким образом, отмечается динамичное развитие технологий EAI, которое сопровождается их внедрением во все сферы жизнедеятельности. Резюмируя вышеизложенное, можно предположить, что в ближайшем будущем человеческое настроение может оказаться под постоянным наблюдением гаджетов, бытовой техники, автомобилей и камер видеонаблюдения.
Вместе с тем, риски и угрозы информационной безопасности, сложности в оценке нарушения приватности и юридическая неурегулированность вопросов вмешательства в частную жизнь со стороны EAI требуют широкого экспертного обсуждения и анализа специалистами в области ИБ, цифрового права и этики, увеличения внимания к данным технологиям со стороны государства и общества.