Phenaki

Acerca de Phenaki

What Is Phenaki?

Phenaki es un modelo de generación de video de vanguardia que transforma secuencias de indicaciones de texto en videos de larga duración. A diferencia de las herramientas tradicionales de síntesis de video que funcionan fotograma a fotograma o utilizan entradas estáticas, Phenaki está diseñado para gestionar narrativas en constante evolución. Puede generar videos coherentes y de alta calidad de varios minutos de duración, con transiciones fluidas entre escenas y contextos a medida que cambia la indicación.

Why It’s Unique

Phenaki uses a novel video representation system based on discrete tokens and causal temporal attention. This approach allows it to work with videos of variable length while preserving both spatial and temporal coherence. It is one of the first models capable of creating continuous videos based on a dynamic series of text inputs, making it ideal for storytelling and animated content creation.

How Phenaki Works

Text-to-Video Pipeline

The process begins with a text prompt or a sequence of prompts over time. These are converted into text tokens, which condition a masked transformer model. The transformer outputs compressed video tokens that are then decoded into a full-resolution video.

Handling Time-Variable Prompts

Phenaki destaca por su compatibilidad con secuencias de indicaciones que evolucionan con el tiempo. Esto permite crear historias o transiciones entre escenas sin necesidad de edición manual. Por ejemplo, un video podría comenzar con «un oso de peluche nadando», luego pasar a «el oso camina por la playa» y terminar con «el oso junto a la fogata», todo dentro del mismo clip.

Codificación de vídeo eficiente

A specialized video encoder compresses each scene into tokens using causal attention over time. This compression method significantly reduces computational load while preserving video quality, enabling longer and more detailed generations.

Casos de uso de Phenaki

Creative Storytelling

Phenaki is ideal for artists, writers, and animators looking to bring stories to life. The ability to craft complex sequences from evolving text makes it suitable for concept videos, experimental films, and narrative art pieces.

Educational Content

Educators can describe learning scenarios—like scientific simulations, historical reenactments, or animated demonstrations—and instantly generate relevant videos that enhance student engagement.

Prototipado rápido para cineastas

Los estudios cinematográficos y los creadores de contenido pueden usar Phenaki para prototipar guiones gráficos y secuencias visuales rápidamente. En lugar de dedicar horas a bocetos o maquetas, los creadores pueden visualizar sus conceptos directamente desde el guion.

Examples of Phenaki in Action

Scene-Based Video Generation

• Un oso de peluche nada por el océano → se sumerge → camina por la playa → se sienta junto a una fogata.
• An astronaut walks on Mars → dances → walks a dog → watches fireworks with the dog

Long-Form Narrative Example

Phenaki can generate multi-minute stories: From a futuristic city traffic jam → to an alien spaceship arrival → to an astronaut in a blue room → and ending with a lion in a suit in a high-rise office

Still Frame + Prompt

Phenaki también permite la generación a partir de una imagen estática y un mensaje de texto, produciendo un movimiento hacia adelante consistente a partir del cuadro dado.

Research Behind Phenaki

Tokenización de vídeo

The model compresses video data into discrete tokens using a temporal-aware encoder. This enables the processing of longer clips while reducing hardware requirements.

Enfoque de formación conjunta

Phenaki was trained using both image-text and video-text pairs. This hybrid dataset design improves generalization and makes the model capable of generating content across a broad range of scenarios, even with limited video data.

Actuación

Phenaki achieves better temporal and spatial quality than existing models. Its transformer-based architecture and efficient tokenizer design help reduce artifacts while improving coherence across frames.

Try Phenaki

Aunque actualmente se presenta como un avance de investigación, Phenaki demuestra el futuro de la generación de video de dominio abierto. Las versiones futuras podrían permitir el acceso público o herramientas para desarrolladores que permitan integrar sus capacidades en flujos de trabajo creativos.

Visita phenaki.video para explorar los videos generados y leer el artículo de investigación completo.