MusicLM

О MusicLM

Генерация музыки из текста с помощью искусственного интеллекта

MusicLM — это мощная модель генерации музыки, разработанная Google Research, которая превращает описания естественного языка в высококачественную музыку. Хотите ли вы успокаивающую мелодию фортепиано, энергичный техно-бит или синхронное джазовое трио, MusicLM интерпретирует ваши идеи и преобразует их в оригинальное аудио.

Иерархическое моделирование последовательности-в-последовательности

Модель подходит к созданию музыки, используя иерархическую структуру, что позволяет ей производить длинные и связные аудиоклипы на частоте 24 кГц. Это обеспечивает как ясность, так и музыкальную непрерывность на протяжении нескольких минут воспроизведения.

Как работает MusicLM

Композиция на основе текста

Пользователи предоставляют подробные или простые текстовые описания — например, «расслабляющая джазовая мелодия с фортепиано и мягкими барабанами», — и MusicLM сочиняет музыку, которая соответствует как жанру, так и описанному эмоциональному тону. Он распознает и воспроизводит нюансы в стиле, темпе, инструменте и настроении.

Двойное кондиционирование: текст и мелодия

В дополнение к текстовым подсказкам MusicLM также может включать мелодическое обусловливание. Это означает, что вы можете напевать или насвистывать мелодию и преобразовывать ее в стилистически подобранное музыкальное произведение на основе введенного вами текста.

Возможности MusicLM

Генерация длинных форм

MusicLM отлично подходит для создания расширенных композиций, сохраняя тематическую и гармоническую последовательность в течение нескольких минут. Это идеально подходит для фоновой музыки, повествования или окружающей среды.

Режим истории

Используя последовательность подсказок, пользователи могут генерировать аудио, которое со временем развивается. Например, произведение может начинаться как медитативный саундтрек и постепенно переходить в энергичный ритм тренировки, отражая каждую фазу повествования или опыта.

Варианты использования MusicLM

Творческие проекты

Композиторы, режиссеры и создатели могут создавать музыку, которая соответствует их видению, без традиционных инструментов производства. Просто опишите сцену, и MusicLM создаст подходящий саундтрек.

Музыкальные эксперименты

Артисты могут исследовать новые жанры, смешивать инструменты или генерировать вариации одной и той же идеи, чтобы найти неожиданное вдохновение.

Образовательные и исследовательские приложения

Благодаря опубликованному набору данных MusicCaps из 5500 пар «музыка-текст» MusicLM также поддерживает академические исследования в области создания музыки и машинного обучения.

Примеры того, что может генерировать MusicLM

Из описаний

• «Смесь реггетона и электронной танцевальной музыки с космическим, потусторонним звучанием».
• «Медленный темп, регги с басом и барабанами, расслабленным вокалом и продолжительной электрогитарой».

Из подписей, вдохновленных изображениями

• «Постоянство памяти» Сальвадора Дали становится жутким, сюрреалистическим звуковым ландшафтом.
• Танец Анри Матисса вдохновляет на радостные ритмы, наполненные коллективной энергией.

Из инструментов или жанров

• Создавайте сольные композиции на основе таких инструментов, как виолончель, флейта или электрогитара.
• Выбирайте из таких жанров, как эмбиент, 8-бит, биг-бит или хаус 90-х.

Технические особенности

• Аудиовыход 24 кГц: генерация звука профессионального качества.
• Продолжительность в несколько минут: Способность сохранять структуру и тему.
• Мелодическая обработка: напевные или насвистываемые мелодии направляют выход.
• Тестирование разнообразия: создает несколько вариантов одного и того же запроса, чтобы продемонстрировать творческий диапазон.