Техасский университет в Остине объявил о разработке инновационной модели искусственного интеллекта, способной генерировать изображения городских улиц на основе аудиозаписей. Для обучения системы использовались аудиовизуальные клипы, содержащие звуки и изображения улиц из различных стран.
В процессе обучения были использованы клипы с статичными изображениями и окружающими звуками, собранные из видеороликов на YouTube. Они охватывали как городские, так и сельские улицы Северной Америки, Азии и Европы. При помощи алгоритмов ИИ научился сопоставлять звуки с определёнными объектами на изображениях.
В рамках эксперимента были взяты фотографии вместе с 2 сгенерированными изображениями других улиц, одновременно проигрывая звуковую дорожку, соответствующую первому изображению. Задача заключалась в том, чтобы определить, какое из 3 изображений соответствует прослушиваемому звуку. В результате была достигнута точность в 80% при определении нужных фото.
По словам авторов проекта, данное исследование открывает новые перспективы для криминалистики, для изучения воздействия восприятия звуков и изображений на психическое здоровье человека, а также для разработки методов городского проектирования в населённых пунктах.
Фото: freepik, Техасский университет в Остине