GET3D (Nvidia)

À propos de GET3D

Qu'est-ce que GET3D?

GET3D est un modèle génératif avancé développé par NVIDIA qui crée des maillages 3D texturés de haute qualité directement à partir de collections d'images 2D. Contrairement aux méthodes de modélisation 3D traditionnelles qui nécessitent des scans, des capteurs ou des outils de CAO, GET3D exploite l'apprentissage profond pour générer des objets 3D complexes, prêts à l'emploi dans l'animation, les jeux et la production virtuelle.

Un bond en avant dans la création de contenu 3D

Entraîné grâce à l'apprentissage antagoniste et au rendu différentiable, GET3D peut générer des objets variés dotés de textures et d'une géométrie réalistes. Il produit des maillages haute fidélité, à topologie arbitraire et aux détails de matériaux complexes, comblant ainsi le fossé entre l'IA et les ressources 3D prêtes à la production.

Comment fonctionne GET3D

Représentation de l'espace latent

GET3D génère deux codes latents distincts : l’un pour la forme (géométrie) et l’autre pour la texture. Ceux-ci servent à produire un champ de distance signé (SDF) et un champ de texture qui définissent le maillage 3D et l’aspect de la surface.

Extraction et texturation du maillage

GET3D utilise DMTet (Deep Marching Tetrahedra) pour convertir le fichier SDF en un maillage triangulaire. Il interroge ensuite le champ de texture afin d'appliquer au maillage des détails de couleur et de texture.

Entraînement avec des discriminateurs 2D

GET3D est entraîné à l'aide d'images 2D et de silhouettes avec des fonctions de perte antagonistes. Le rendu différentiable permet au modèle de rétropropager les erreurs de l'espace image vers l'espace 3D, rendant ainsi l'apprentissage possible sans supervision 3D explicite.

Principales fonctionnalités de GET3D

Maillages 3D de haute qualité

GET3D génère des objets 3D texturés avec des détails fins tels que des phares, des coutures, de la fourrure et des reflets, ce qui le rend adapté aux tâches d'animation et de simulation.

Prise en charge de topologies arbitraires

Contrairement à de nombreux modèles précédents, GET3D peut générer des formes complexes et non rigides dans un large éventail de catégories, notamment les animaux, les véhicules, les meubles, les chaussures et les avatars humains.

Contrôle désenchevêtré de la forme et de la texture

GET3D sépare la géométrie et la texture en codes latents distincts. Les utilisateurs peuvent manipuler indépendamment chaque aspect pour un contrôle accru lors de la génération d'éléments.

Interpolation de code latent

En interpolant entre vecteurs latents, GET3D permet des transitions fluides et des morphings entre formes et textures. Cette fonctionnalité est utile pour l'animation, la variation d'éléments et l'itération de conception.

Génération guidée par texte

Grâce à l'intégration d'une perte directionnelle basée sur CLIP (comme dans StyleGAN-NADA), GET3D prend en charge la génération de formes guidée par du texte. Les utilisateurs peuvent affiner les résultats à l'aide d'instructions en langage naturel pour une liberté créative totale.

Effets de matériaux et d'éclairage

Combiné à DIBR++ (un moteur de rendu hybride), GET3D peut également simuler des matériaux et des effets d'éclairage de manière non supervisée, améliorant ainsi le réalisme des rendus.

Applications de GET3D

Jeux et médias interactifs

Les développeurs de jeux peuvent générer rapidement des modèles de personnages, des accessoires et des environnements avec une géométrie et une texture cohérentes, réduisant considérablement le temps de modélisation manuelle.

Production d'animation et de films

GET3D permet un prototypage rapide d'éléments stylisés ou photoréalistes avec une grande flexibilité de conception et une exportation directe vers les pipelines de rendu.

Réalité virtuelle et métavers

Idéal pour les créateurs de réalité virtuelle, GET3D offre une solution évolutive pour peupler les espaces virtuels de contenu 3D de haute qualité, sans avoir recours à la numérisation ou à la modélisation traditionnelles.

Commerce électronique 3D et jumeaux numériques

Les détaillants et les designers industriels peuvent utiliser GET3D pour visualiser les produits en 3D à partir d'images de catalogue, améliorant ainsi les flux de travail interactifs d'achat et de simulation.

Points saillants de la recherche

• Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
• Adversarial Image-Based Training: No 3D labels or models required—just image collections.
• Latent Code Interpolation: Smooth transitions between different shapes and styles.
• High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

Origines et contributeurs du projet

GET3D est le fruit d'une recherche collaborative entre NVIDIA, l'Université de Toronto et le Vector Institute, présentée à NeurIPS 2022. Il s'appuie sur des travaux antérieurs tels que DMTet, EG3D et DIBR++, faisant progresser la modélisation générative 3D.

Ressources et accès

• GET3D GitHub & Codebase
• Research Paper PDF & arXiv
• Citation & BibTeX Information Available on Project Page