Phenaki

Sobre Phenaki

What Is Phenaki?

O Phenaki é um modelo de geração de vídeo de ponta que transforma sequências de prompts de texto em vídeos longos. Ao contrário das ferramentas tradicionais de síntese de vídeo que funcionam quadro a quadro ou usam entrada estática, o Phenaki foi projetado para lidar com narrativas em evolução. Ele pode gerar vídeos coerentes e de alta qualidade com duração de vários minutos, com transições perfeitas entre cenas e contextos conforme o prompt muda.

Why It’s Unique

Phenaki uses a novel video representation system based on discrete tokens and causal temporal attention. This approach allows it to work with videos of variable length while preserving both spatial and temporal coherence. It is one of the first models capable of creating continuous videos based on a dynamic series of text inputs, making it ideal for storytelling and animated content creation.

How Phenaki Works

Text-to-Video Pipeline

The process begins with a text prompt or a sequence of prompts over time. These are converted into text tokens, which condition a masked transformer model. The transformer outputs compressed video tokens that are then decoded into a full-resolution video.

Handling Time-Variable Prompts

Phenaki se destaca por oferecer suporte a sequências de prompts que evoluem ao longo do tempo. Isso permite a criação de histórias ou transições de cena sem a necessidade de edição manual de vídeo. Por exemplo, um vídeo pode começar com «um ursinho de pelúcia nadando», depois mudar para «o urso caminha na praia» e terminar com «o urso perto da fogueira» — tudo no mesmo clipe.

Codificação de vídeo eficiente

A specialized video encoder compresses each scene into tokens using causal attention over time. This compression method significantly reduces computational load while preserving video quality, enabling longer and more detailed generations.

Casos de uso para Phenaki

Creative Storytelling

Phenaki is ideal for artists, writers, and animators looking to bring stories to life. The ability to craft complex sequences from evolving text makes it suitable for concept videos, experimental films, and narrative art pieces.

Educational Content

Educators can describe learning scenarios—like scientific simulations, historical reenactments, or animated demonstrations—and instantly generate relevant videos that enhance student engagement.

Prototipagem rápida para cineastas

Estúdios de cinema e criadores de conteúdo podem usar o Phenaki para prototipar storyboards e sequências visuais rapidamente. Em vez de gastar horas em esboços ou mockups, os criadores podem visualizar seus conceitos diretamente do roteiro.

Examples of Phenaki in Action

Scene-Based Video Generation

• Um ursinho de pelúcia nada pelo oceano → mergulha → caminha até a praia → senta-se perto de uma fogueira
• An astronaut walks on Mars → dances → walks a dog → watches fireworks with the dog

Long-Form Narrative Example

Phenaki can generate multi-minute stories: From a futuristic city traffic jam → to an alien spaceship arrival → to an astronaut in a blue room → and ending with a lion in a suit in a high-rise office

Still Frame + Prompt

Phenaki também permite a geração a partir de uma imagem estática e um prompt de texto, produzindo movimento consistente para frente a partir do quadro fornecido.

Research Behind Phenaki

Tokenização de vídeo

The model compresses video data into discrete tokens using a temporal-aware encoder. This enables the processing of longer clips while reducing hardware requirements.

Abordagem de Treinamento Conjunto

Phenaki was trained using both image-text and video-text pairs. This hybrid dataset design improves generalization and makes the model capable of generating content across a broad range of scenarios, even with limited video data.

Desempenho

Phenaki achieves better temporal and spatial quality than existing models. Its transformer-based architecture and efficient tokenizer design help reduce artifacts while improving coherence across frames.

Try Phenaki

Embora atualmente apresentado como uma prévia de pesquisa, o Phenaki demonstra o futuro da geração de vídeos de domínio aberto. Versões futuras podem permitir acesso público ou ferramentas para desenvolvedores para integrar seus recursos a fluxos de trabalho criativos.

Visite phenaki.video para explorar os vídeos gerados e ler o artigo de pesquisa completo.