Разработчики утверждают, что она обучена на контенте, который компания имела право использовать.
Компания Adobe представила Firefly Video Model — новую модель искусственного интеллекта для работы с видео. Инструменты на ее основе уже интегрированы в Premiere Pro и доступны в виде бета-версий.
Generative Extend в Premiere Pro позволяет продлевать видео на несколько секунд, корректируя мелкие недочёты, например, смещение взгляда или лишние движения. Функция работает с разрешением до 1080p и частотой 24 FPS. Аналогичный инструмент для аудио позволяет продлевать звуковые эффекты и фоновый шум, но не речь или музыку.
Веб-приложение Firefly получило функции Text-to-Video и Image-to-Video, которые позволяют генерировать короткие видеоролики (до 5 секунд, 720p, 24 FPS) из текстовых описаний или изображений. Text-to-Video предлагает различные стили, имитирующие реальную съёмку, 3D-анимацию и покадровую съемку, а также «виртуальные» настройки камеры. Image-to-Video позволяет использовать изображение в качестве основы для генерации, что может быть полезно для создания вспомогательных материалов или визуализации пересъёмки.
Adobe подчёркивает, что Firefly Video Model обучена на контенте, который компания имела право использовать, что делает сгенерированные видео «коммерчески безопасными». Это выгодно отличает Firefly от конкурентов, таких как Runway, которые столкнулись с критикой из-за использования данных, полученных без разрешения правообладателей.
Видео, созданные или отредактированные с помощью Firefly, могут быть отмечены Content Credentials, которые подтверждают использование ИИ и указывают на правообладателя. Новые функции были представлены на конференции Adobe MAX, где компания также анонсировала ряд других инструментов на базе ИИ для своих креативных приложений.