MusicLM

Sobre MusicLM

Geração de música a partir de texto com tecnologia de IA

O MusicLM é um poderoso modelo de geração de música desenvolvido pelo Google Research que transforma descrições em linguagem natural em música de alta fidelidade. Seja uma melodia de piano relaxante, uma batida techno cheia de energia ou um trio de jazz tocando em sincronia, o MusicLM interpreta suas ideias e as transforma em áudio original.

Modelagem hierárquica de sequência para sequência

O modelo aborda a geração musical utilizando uma estrutura hierárquica, permitindo a produção de clipes de áudio longos e coerentes a 24 kHz. Isso garante clareza e continuidade musical ao longo de vários minutos de reprodução.

Como funciona o MusicLM

Composição baseada em texto

Os usuários fornecem descrições de texto detalhadas ou simples — como «uma melodia relaxante de jazz com piano e bateria suave» — e o MusicLM compõe músicas que se alinham tanto ao gênero quanto ao tom emocional descrito. Ele reconhece e replica nuances de estilo, andamento, instrumento e clima.

Condicionamento Duplo: Texto e Melodia

Além dos prompts de texto, o MusicLM também pode incorporar condicionamento de melodia. Isso significa que você pode cantarolar ou assobiar uma melodia e transformá-la em uma peça musical com estilo próprio, com base no texto digitado.

Recursos do MusicLM

Geração de formato longo

O MusicLM se destaca na criação de composições extensas, mantendo a consistência temática e harmônica ao longo de vários minutos. Ideal para música de fundo, narrativas ou ambientes.

Modo História

Usando uma sequência de prompts, os usuários podem gerar áudio que evolui ao longo do tempo. Por exemplo, uma peça pode começar como uma trilha sonora meditativa e gradualmente transitar para uma batida de treino de alta energia, refletindo cada fase de uma narrativa ou experiência.

Casos de uso para MusicLM

Projetos Criativos

Compositores, cineastas e criadores podem gerar músicas que correspondam à sua visão sem ferramentas de produção tradicionais. Basta descrever a cena e o MusicLM cria uma trilha sonora adequada.

Experimentação Musical

Os artistas podem explorar novos gêneros, misturar instrumentos ou gerar variações da mesma ideia para encontrar inspiração inesperada.

Aplicações educacionais e de pesquisa

Com seu conjunto de dados MusicCaps de 5.500 pares de música e texto, a MusicLM também apoia pesquisas acadêmicas em geração de música e aprendizado de máquina.

Exemplos do que o MusicLM pode gerar

De Descrições

• «Uma fusão de reggaeton e música eletrônica, com um som espacial e sobrenatural.»
• «Reggae lento, com baixo e bateria, vocais relaxados e guitarra elétrica sustentada.»

De legendas inspiradas em imagens

• A Persistência da Memória, de Salvador Dalí, transforma-se numa paisagem sonora sinistra e surreal.
• A dança de Henri Matisse inspira ritmos alegres e otimistas com energia coletiva.

De Instrumentos ou Gêneros

• Crie composições solo baseadas em instrumentos como violoncelo, flauta ou guitarra elétrica.
• Escolha entre gêneros como ambient, 8 bits, big beat ou house dos anos 90.

Destaques técnicos

• Saída de áudio de 24 kHz: geração de áudio com qualidade profissional.
• Duração de vários minutos: Capaz de manter a estrutura e o tema.
• Condicionamento de melodia: melodias cantaroladas ou assobiadas guiam a saída.
• Teste de Diversidade: Gera múltiplas variações a partir do mesmo prompt para demonstrar a amplitude criativa.