GET3D (Nvidia)

À propos de GET3D

Qu'est-ce que GET3D?

GET3D est un modèle génératif avancé développé par NVIDIA qui crée des maillages 3D texturés de haute qualité directement à partir d'images 2D. Contrairement aux pipelines de modélisation 3D traditionnels qui nécessitent des scans, des capteurs ou des outils de CAO, GET3D exploite l'apprentissage profond pour générer des objets 3D complexes, prêts à être utilisés dans l'animation, les jeux et la production virtuelle.

Un bond en avant dans la création de contenu 3D

Formé à l'aide de l'apprentissage contradictoire et du rendu différentiable, GET3D peut produire divers objets aux textures et géométries réalistes. Il produit des maillages haute fidélité, à la topologie arbitraire et aux détails matériels complexes, comblant ainsi l'écart entre l'IA et les ressources 3D prêtes à la production.

Comment fonctionne GET3D

Représentation de l'espace latent

GET3D génère deux codes latents distincts : un pour la forme (géométrie) et un autre pour la texture. Ces codes permettent de produire un champ de distance signé (SDF) et un champ de texture définissant le maillage 3D et l'apparence de la surface.

Extraction et texturation de maillage

Grâce à DMTet (Deep Marching Tetrahedra), GET3D convertit le SDF en un maillage triangulaire. Il interroge ensuite le champ de texture pour peindre le maillage avec des couleurs et des caractéristiques matérielles détaillées.

Entraînement avec des discriminateurs 2D

GET3D est entraîné à l'aide d'images et de silhouettes 2D avec pertes adverses. Le rendu différentiable permet au modèle de rétropropager les erreurs de l'espace image vers l'espace 3D, permettant ainsi l'apprentissage sans supervision 3D explicite.

Principales fonctionnalités de GET3D

Maillages 3D de haute qualité

GET3D génère des objets 3D texturés avec des détails fins tels que des phares, des coutures, de la fourrure et des reflets, ce qui le rend adapté aux tâches d'animation et de simulation.

Prise en charge de topologie arbitraire

Contrairement à de nombreux modèles antérieurs, GET3D peut générer des formes complexes et non rigides dans un large éventail de catégories, notamment les animaux, les véhicules, les meubles, les chaussures et les avatars humains.

Contrôle démêlé de la forme et de la texture

GET3D sépare la géométrie et la texture en codes latents distincts. Les utilisateurs peuvent manipuler chaque aspect indépendamment pour un meilleur contrôle de la génération des ressources.

Interpolation de code latent

En interpolant entre les vecteurs latents, GET3D permet des transitions et des morphings fluides entre formes et textures. Cette fonctionnalité est utile pour l'animation, la variation d'éléments et l'itération de conception.

Génération guidée par texte

Intégrant la perte directionnelle basée sur CLIP (comme dans StyleGAN-NADA), GET3D prend en charge la génération de formes guidée par texte. Les utilisateurs peuvent affiner les résultats grâce à des invites en langage naturel pour un contrôle créatif.

Effets de matériaux et d'éclairage

Associé à DIBR++ (un moteur de rendu hybride), GET3D peut également simuler des matériaux et des effets d'éclairage de manière non supervisée, améliorant ainsi le réalisme des rendus.

Applications de GET3D

Jeux et médias interactifs

Les développeurs de jeux peuvent générer rapidement des modèles de personnages, des accessoires et des environnements avec une géométrie et une texture cohérentes, réduisant ainsi considérablement le temps de modélisation manuelle.

Animation et production cinématographique

GET3D permet le prototypage rapide d'actifs stylisés ou photoréalistes avec une variation de conception flexible et une exportation directe dans les pipelines de rendu.

Réalité virtuelle et métavers

Idéal pour les créateurs de réalité virtuelle, GET3D offre un moyen évolutif de peupler des espaces virtuels avec du contenu 3D de haute qualité, sans avoir recours à la numérisation ou à la modélisation traditionnelles.

Commerce électronique 3D et jumeaux numériques

Les détaillants et les concepteurs industriels peuvent utiliser GET3D pour visualiser les produits en 3D à partir d'images de catalogue, améliorant ainsi les flux de travail d'achat et de simulation interactifs.

Faits saillants de la recherche

• Géométrie et texture démêlées : contrôle indépendant de la forme du maillage et de l'apparence de la surface.
• Formation basée sur des images contradictoires : aucune étiquette ni modèle 3D requis, juste des collections d’images.
• Interpolation de code latent : transitions fluides entre différentes formes et styles.
• Haute compatibilité : génère des formats de maillage standard compatibles avec Blender, Unity, Unreal et d'autres moteurs.

Origines du projet et contributeurs

GET3D est le résultat d'une recherche collaborative entre NVIDIA, l'Université de Toronto et le Vector Institute, présentée à NeurIPS 2022. Il s'appuie sur des travaux antérieurs tels que DMTet, EG3D et DIBR++, faisant progresser davantage la modélisation générative 3D.

Ressources et accès

• Base de code et GitHub GET3D
• Document de recherche PDF et arXiv
• Informations sur les citations et BibTeX disponibles sur la page du projet