Команда инженеров по видео и искусственному интеллекту из Adobe Research разработала приложение искусственного интеллекта под названием VideoGigaGAN, которое может принимать размытое видео и улучшать его, делая продукт более совершенным. Команда описывает свою работу и результаты в статье , размещенной на сервере препринтов arXiv . Они также разместили несколько примеров улучшенных видеороликов на странице своего проекта .
В последнее время приложения искусственного интеллекта часто упоминаются в новостях, в первую очередь из-за выпуска LLM, таких как ChatGPT, которые потребители могут использовать для создания самых разнообразных результатов. Но исследования ИИ продолжаются и в других областях, таких как создание искусственных изображений и видео.
В рамках этой новой работы команда Adobe создала приложение, которое может принимать размытый образец видео и после обработки возвращать тот же образец со значительно повышенной резкостью и четкостью — это также известно как масштабирование.
Он называется VideoGigaGAN — это название происходит от ранее продемонстрированного приложения GigaGAN, которое создавало новые фотографии или улучшало старые. GAN означает генеративно-состязательную сеть.
Как следует из названия, команда использовала генеративно-состязательную сеть, чтобы научить систему тому, как выглядит четкое и четкое видео (например, отдельные волоски на бровях, а не размытая масса), а затем добавила «модуль распространения с управляемым потоком», чтобы сохранить вещи согласуются между видеокадрами.
Они также использовали методы сглаживания, чтобы предотвратить то, что они называют «странностями искусственного интеллекта», и высокочастотное переключение функций для обработки неожиданного снижения качества видео.
Результатом, по утверждению команды, является система, которая может повысить качество видеоизображения до восьми раз — и все это без добавления странной окраски, неровных линий или других хорошо известных проблем с изображениями и видео, созданными искусственным интеллектом.
Они признают, что часть выходных данных генерируется полностью искусственно на основе оценок, сделанных системой, которая пытается заполнить недостающие изображения. Например, добавляются поры на коже, морщины вокруг глаз или даже ресницы, чтобы придать полученному видео четкое и четкое качество.
Команда отмечает, что на данный момент анонс системы является демонстрационным, а не ожидаемым выпуском; таким образом, неясно, выпустит ли Adobe его для общего использования.