GET3D (Nvidia)

Über GET3D

Was ist GET3D?

GET3D ist ein fortschrittliches generatives Modell von NVIDIA, das hochwertige, texturierte 3D-Netze direkt aus 2D-Bildsammlungen erstellt. Im Gegensatz zu herkömmlichen 3D-Modellierungs-Pipelines, die Scans, Sensoren oder CAD-Tools erfordern, nutzt GET3D Deep Learning zur Generierung komplexer 3D-Objekte — einsatzbereit für Animationen, Spiele und virtuelle Produktionen.

Ein Sprung in der 3D-Inhaltserstellung

GET3D wurde mithilfe von Adversarial Learning und differenzierbarem Rendering trainiert und kann vielfältige Objekte mit realistischen Texturen und Geometrien erzeugen. Es erzeugt Meshes mit hoher Wiedergabetreue, beliebiger Topologie und komplexen Materialdetails und schließt so die Lücke zwischen KI und produktionsreifen 3D-Assets.

So funktioniert GET3D

Latente Raumdarstellung

GET3D generiert zwei verschiedene latente Codes: einen für die Form (Geometrie) und einen für die Textur. Diese werden verwendet, um ein signiertes Distanzfeld (SDF) und ein Texturfeld zu erzeugen, die das 3D-Netz und das Erscheinungsbild der Oberfläche definieren.

Netzextraktion und Texturierung

Mithilfe von DMTet (Deep Marching Tetrahedra) konvertiert GET3D das SDF in ein dreieckiges Netz. Anschließend fragt es das Texturfeld ab, um das Netz mit detaillierten Farb- und Materialmerkmalen zu versehen.

Training mit 2D-Diskriminatoren

GET3D wird mit 2D-Bildern und Silhouetten mit gegnerischen Verlusten trainiert. Differenzierbares Rendering ermöglicht dem Modell die Rückpropagierung von Fehlern aus dem Bildraum in den 3D-Raum und ermöglicht so Lernen ohne explizite 3D-Überwachung.

Schlüsselfunktionen von GET3D

Hochwertige 3D-Netze

GET3D generiert texturierte 3D-Objekte mit feinen Details wie Scheinwerfern, Nähten, Fell und Reflexionen und eignet sich daher für Animations- und Simulationsaufgaben.

Unterstützung beliebiger Topologien

Im Gegensatz zu vielen früheren Modellen kann GET3D komplexe, nicht starre Formen in einer Vielzahl von Kategorien generieren, darunter Tiere, Fahrzeuge, Möbel, Schuhe und menschliche Avatare.

Entwirrte Kontrolle von Form und Textur

GET3D trennt Geometrie und Textur in verschiedene latente Codes. Benutzer können beide Aspekte unabhängig voneinander bearbeiten, um eine bessere Kontrolle bei der Asset-Generierung zu erreichen.

Latente Code-Interpolation

Durch die Interpolation zwischen latenten Vektoren ermöglicht GET3D fließende Übergänge und Morphing zwischen Formen und Texturen. Diese Funktion ist nützlich für Animationen, Asset-Variationen und Design-Iterationen.

Textgeführte Generierung

Durch die Integration von CLIP-basiertem Richtungsverlust (wie in StyleGAN-NADA) unterstützt GET3D die textgesteuerte Formgenerierung. Benutzer können die Ergebnisse mithilfe natürlicher Sprachanweisungen optimieren und so die kreative Kontrolle behalten.

Material- und Lichteffekte

In Kombination mit DIBR++ (einem Hybrid-Renderer) kann GET3D auch Materialien und Lichteffekte unbeaufsichtigt simulieren und so den Realismus in Renderings verbessern.

Anwendungen von GET3D

Gaming und interaktive Medien

Spieleentwickler können schnell Charaktermodelle, Requisiten und Umgebungen mit konsistenter Geometrie und Textur erstellen und so den Zeitaufwand für die manuelle Modellierung erheblich reduzieren.

Animation und Filmproduktion

GET3D ermöglicht schnelles Prototyping stilisierter oder fotorealistischer Assets mit flexiblen Designvariationen und direktem Export in Rendering-Pipelines.

Virtuelle Realität und Metaverse

GET3D ist ideal für VR-Entwickler und bietet eine skalierbare Möglichkeit, virtuelle Räume mit hochwertigen 3D-Inhalten zu füllen — ohne dass herkömmliches Scannen oder Modellieren erforderlich ist.

3D E-Commerce und digitale Zwillinge

Einzelhändler und Industriedesigner können GET3D verwenden, um Produkte aus Katalogbildern in 3D zu visualisieren und so interaktive Einkaufs- und Simulationsabläufe zu verbessern.

Forschungshighlights

• Entwirrte Geometrie und Textur: Unabhängige Steuerung der Netzform und des Oberflächenbildes.
• Adversarial Image-Based Training: Keine 3D-Beschriftungen oder Modelle erforderlich — nur Bildsammlungen.
• Latent Code Interpolation: Sanfte Übergänge zwischen verschiedenen Formen und Stilen.
• Hohe Kompatibilität: Gibt standardmäßige Mesh-Formate aus, die mit Blender, Unity, Unreal und anderen Engines kompatibel sind.

Projektursprünge und Mitwirkende

GET3D ist das Ergebnis einer gemeinsamen Forschung zwischen NVIDIA, der University of Toronto und dem Vector Institute und wurde auf der NeurIPS 2022 vorgestellt. Es baut auf früheren Arbeiten wie DMTet, EG3D und DIBR++ auf und treibt die generative 3D-Modellierung weiter voran.

Ressourcen und Zugang

• GET3D GitHub & Codebasis
• Forschungsarbeit (PDF & arXiv)
• Zitat- und BibTeX–Informationen auf der Projektseite verfügbar