Google разработала новую нейросеть: она генерирует музыку по текстовому описанию

Специалисты Google Research представили нейросетевую модель MusicLM, которая умеет генерировать музыку по текстовому описанию на английском языке. Ознакомиться с результатами её работы уже можно на специальной странице, но воспользоваться инструментом пока не получится — в том числе из-за рисков нарушения авторских прав.

По данным разработчиков, нейросеть обучалась на наборе данных из 280 тысяч часов музыки, благодаря чему теперь может создать аудиокомпозицию в 24 кГц и в любом жанре, уловив большинство возможным нюансов в описанной аннотации. Модель может даже сымитировать уровень навыков: например, если указать, что мелодию исполняет начинающий пианист.

MusicLM также способна собрать мелодию из нескольких частей с переходом с помощью набора последовательных аннотаций. Из проблем нейросети можно выделить заметное искажение качества в некоторых из представленных примеров, а также простой набор звуков вместо полноценного вокала, за который отвечает синтезированная речь.