Бывало, что вы пытаетесь описать музыку и не находите слов? Теперь вы вряд ли окажетесь в подобной ситуации благодаря Fugatto от NVIDIA, который может генерировать или трансформировать «любую смесь музыки, голоса и звуков, описанных в запросе, использую любую комбинацию текста и аудиофайлов».
Это значит, что генеративный инструмент позволяет создавать мелодии по текстовому запросу, удалять или добавлять инструменты из существующих песен, изменять акценты и эмоции в голосе или даже добавлять звуки, которых никогда не существовало, вроде трубного лая или саксофонного мяуканья. «Что пользователи могут описать — модель может создать», — говорится в блоге компании.
Рафаэль Велле, менеджер прикладных исследований звука в NVIDIA, дирижёр оркестра и композитор, заявил:
«Мы хотели создать модель, которая понимает и генерирует звук, как это делают люди. Fugatto — наш первый шаг к будущему, в котором неконтролируемое многозадачное обучение в области аудиосинтеза и преобразования возникает из масштаба данных и модели».
Интересно, что модель также может «генерировать звуки, меняющиеся со временем». Эта функция называется «временная интерполяция», и, к примеру, позволяет создать звук грозы, движущийся в пространстве, с ударом грома, который медленно угасает при удалении.