GET3D (Nvidia)

Über GET3D

Was ist GET3D?

GET3D ist ein von NVIDIA entwickeltes, fortschrittliches generatives Modell, das hochwertige, texturierte 3D-Modelle direkt aus 2D-Bildersammlungen erzeugt. Im Gegensatz zu herkömmlichen 3D-Modellierungsverfahren, die Scans, Sensoren oder CAD-Tools benötigen, nutzt GET3D Deep Learning, um komplexe 3D-Objekte zu generieren — sofort einsatzbereit für Animationen, Spiele und virtuelle Produktionen.

Ein Quantensprung in der 3D-Inhaltserstellung

Durch Training mit adversarialem Lernen und differenzierbarem Rendering kann GET3D vielfältige Objekte mit realistischen Texturen und Geometrien erzeugen. Es liefert hochauflösende Meshes mit beliebiger Topologie und komplexen Materialdetails und schließt damit die Lücke zwischen KI und produktionsreifen 3D-Assets.

So funktioniert GET3D

Repräsentation des latenten Raums

GET3D generiert zwei unterschiedliche latente Codes: einen für die Form (Geometrie) und einen für die Textur. Diese werden verwendet, um ein Signed Distance Field (SDF) und ein Texturfeld zu erzeugen, die das 3D-Netz und das Erscheinungsbild der Oberfläche definieren.

Netzextraktion & Texturierung

GET3D wandelt mithilfe von DMTet (Deep Marching Tetrahedra) die SDF in ein Dreiecksnetz um. Anschließend fragt es das Texturfeld ab, um das Netz mit detaillierten Farb- und Materialeigenschaften zu versehen.

Training mit 2D-Diskriminatoren

GET3D wird mithilfe von 2D-Bildern und Silhouetten mit adversariellen Verlustfunktionen trainiert. Differenzierbares Rendering ermöglicht es dem Modell, Fehler vom Bildraum in den 3D-Raum zurückzupropagieren und so das Lernen ohne explizite 3D-Überwachung zu ermöglichen.

Hauptfunktionen von GET3D

Hochwertige 3D-Netze

GET3D erzeugt texturierte 3D-Objekte mit feinen Details wie Scheinwerfern, Nähten, Fell und Spiegelungen — wodurch es sich für Animations- und Simulationsaufgaben eignet.

Unterstützung beliebiger Topologien

Im Gegensatz zu vielen früheren Modellen kann GET3D komplexe, nicht starre Formen in einer Vielzahl von Kategorien generieren, darunter Tiere, Fahrzeuge, Möbel, Schuhe und menschliche Avatare.

Unverschlüsselte Kontrolle über Form und Textur

GET3D trennt Geometrie und Textur in separate latente Codes. Benutzer können beide Aspekte unabhängig voneinander bearbeiten, um eine präzisere Kontrolle bei der Asset-Generierung zu erreichen.

Interpolation latenter Codes

Durch Interpolation zwischen latenten Vektoren ermöglicht GET3D fließende Übergänge und Morphing zwischen Formen und Texturen. Diese Funktion ist nützlich für Animationen, die Variation von Assets und Designiterationen.

Textgesteuerte Generierung

Durch die Integration von CLIP-basiertem Richtungsverlust (wie in StyleGAN-NADA) unterstützt GET3D die textgesteuerte Formgenerierung. Benutzer können die Ergebnisse mithilfe von natürlichsprachlichen Eingabeaufforderungen feinabstimmen und so kreative Kontrolle ausüben.

Material- und Lichteffekte

In Kombination mit DIBR++ (einem Hybrid-Renderer) kann GET3D auch Materialien und Lichteffekte unüberwacht simulieren und so den Realismus der Renderings verbessern.

Anwendungsbereiche von GET3D

Gaming & Interaktive Medien

Spieleentwickler können Charaktermodelle, Requisiten und Umgebungen mit einheitlicher Geometrie und Textur schnell generieren, wodurch der manuelle Modellierungsprozess erheblich verkürzt wird.

Animations- und Filmproduktion

GET3D ermöglicht die schnelle Erstellung von Prototypen stilisierter oder fotorealistischer Assets mit flexibler Designvariation und direktem Export in Rendering-Pipelines.

Virtuelle Realität & Metaverse

GET3D ist ideal für VR-Entwickler und bietet eine skalierbare Möglichkeit, virtuelle Räume mit hochwertigen 3D-Inhalten zu füllen — ohne dass herkömmliches Scannen oder Modellieren erforderlich ist.

3D-E-Commerce & Digitale Zwillinge

Einzelhändler und Industriedesigner können GET3D nutzen, um Produkte anhand von Katalogbildern in 3D zu visualisieren und so interaktive Einkaufs- und Simulationsabläufe zu verbessern.

Forschungshighlights

• Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
• Adversarial Image-Based Training: No 3D labels or models required—just image collections.
• Latent Code Interpolation: Smooth transitions between different shapes and styles.
• High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

Projektursprünge & Mitwirkende

GET3D ist das Ergebnis einer gemeinsamen Forschung von NVIDIA, der Universität Toronto und dem Vector Institute und wurde auf der NeurIPS 2022 vorgestellt. Es baut auf früheren Arbeiten wie DMTet, EG3D und DIBR++ auf und entwickelt die generative 3D-Modellierung weiter.

Ressourcen und Zugang

• GET3D GitHub & Codebase
• Research Paper PDF & arXiv
• Citation & BibTeX Information Available on Project Page