Phenaki

À propos de Phenaki

What Is Phenaki?

Phenaki est un modèle de génération vidéo de pointe qui transforme des séquences de messages textuels en vidéos longues. Contrairement aux outils de synthèse vidéo traditionnels qui fonctionnent image par image ou utilisent des entrées statiques, Phenaki est conçu pour gérer des récits évolutifs. Il peut générer des vidéos cohérentes et de haute qualité, s'étendant sur plusieurs minutes, avec des transitions fluides entre les scènes et les contextes au gré des changements de message.

Why It’s Unique

Phenaki uses a novel video representation system based on discrete tokens and causal temporal attention. This approach allows it to work with videos of variable length while preserving both spatial and temporal coherence. It is one of the first models capable of creating continuous videos based on a dynamic series of text inputs, making it ideal for storytelling and animated content creation.

How Phenaki Works

Text-to-Video Pipeline

The process begins with a text prompt or a sequence of prompts over time. These are converted into text tokens, which condition a masked transformer model. The transformer outputs compressed video tokens that are then decoded into a full-resolution video.

Handling Time-Variable Prompts

Phenaki se distingue par la prise en charge de séquences instantanées évolutives. Cela permet de créer des histoires ou des transitions de scènes sans avoir recours au montage vidéo manuel. Par exemple, une vidéo pourrait commencer par « un ours en peluche nageant „, puis passer à „ l'ours se promène sur la plage “ et se terminer par „ l'ours près du feu de camp „, le tout dans le même clip.

Encodage vidéo efficace

A specialized video encoder compresses each scene into tokens using causal attention over time. This compression method significantly reduces computational load while preserving video quality, enabling longer and more detailed generations.

Cas d'utilisation de Phenaki

Creative Storytelling

Phenaki is ideal for artists, writers, and animators looking to bring stories to life. The ability to craft complex sequences from evolving text makes it suitable for concept videos, experimental films, and narrative art pieces.

Educational Content

Educators can describe learning scenarios—like scientific simulations, historical reenactments, or animated demonstrations—and instantly generate relevant videos that enhance student engagement.

Prototypage rapide pour les cinéastes

Les studios de cinéma et les créateurs de contenu peuvent utiliser Phenaki pour prototyper rapidement des storyboards et des séquences visuelles. Au lieu de passer des heures sur des croquis ou des maquettes, les créateurs peuvent visualiser leurs concepts directement à partir du scénario.

Examples of Phenaki in Action

Scene-Based Video Generation

• Un ours en peluche nage dans l'océan → plonge sous l'eau → marche sur la plage → s'assoit près d'un feu de camp
• An astronaut walks on Mars → dances → walks a dog → watches fireworks with the dog

Long-Form Narrative Example

Phenaki can generate multi-minute stories: From a futuristic city traffic jam → to an alien spaceship arrival → to an astronaut in a blue room → and ending with a lion in a suit in a high-rise office

Still Frame + Prompt

Phenaki permet également la génération à partir d'une image statique et d'une invite de texte, produisant un mouvement vers l'avant cohérent à partir de l'image donnée.

Research Behind Phenaki

Tokenisation vidéo

The model compresses video data into discrete tokens using a temporal-aware encoder. This enables the processing of longer clips while reducing hardware requirements.

Approche de formation conjointe

Phenaki was trained using both image-text and video-text pairs. This hybrid dataset design improves generalization and makes the model capable of generating content across a broad range of scenarios, even with limited video data.

Performance

Phenaki achieves better temporal and spatial quality than existing models. Its transformer-based architecture and efficient tokenizer design help reduce artifacts while improving coherence across frames.

Try Phenaki

Bien que présenté actuellement comme un aperçu de recherche, Phenaki illustre l'avenir de la génération vidéo en domaine ouvert. Les futures versions pourraient permettre un accès public ou des outils de développement pour intégrer ses fonctionnalités aux flux de travail créatifs.

Visitez phenaki.video pour explorer les vidéos générées et lire l'intégralité du document de recherche.