GET3D (Nvidia)

GET3D Hakkında

GET3D nedir?

GET3D, NVIDIA tarafından geliştirilen ve doğrudan 2B görüntü koleksiyonlarından yüksek kaliteli, dokulu 3B ağlar oluşturan gelişmiş bir üretken modeldir. Tarama, sensör veya CAD araçları gerektiren geleneksel 3B modelleme süreçlerinin aksine, GET3D, animasyon, oyun ve sanal prodüksiyonda kullanıma hazır karmaşık 3B nesneler oluşturmak için derin öğrenmeden yararlanır.

3D İçerik Oluşturmada Bir Atılım

Rakip öğrenme ve farklılaştırılabilir işleme yöntemleriyle eğitilen GET3D, gerçekçi doku ve geometriye sahip çeşitli nesneler üretebilir. Yüksek doğruluk, keyfi topoloji ve karmaşık malzeme ayrıntılarıyla ağlar üreterek, yapay zeka ile üretime hazır 3B varlıklar arasındaki boşluğu kapatır.

GET3D Nasıl Çalışır?

Gizli Uzay Temsili

GET3D, biri şekil (geometri) için, diğeri doku için olmak üzere iki farklı gizli kod üretir. Bunlar, 3B ağı ve yüzey görünümünü tanımlayan işaretli bir mesafe alanı (SDF) ve bir doku alanı üretmek için kullanılır.

Ağ Çıkarma ve Dokulandırma

GET3D, DMTet (Derin Yürüyen Tetrahedra) kullanarak SDF'yi üçgen bir ağa dönüştürür. Ardından, ağı ayrıntılı renk ve malzeme özellikleriyle boyamak için doku alanını sorgular.

2D Ayırıcılarla Eğitim

GET3D, düşmanca kayıplara sahip 2B görüntüler ve silüetler kullanılarak eğitilmiştir. Farklılaştırılabilir işleme, modelin hataları görüntü alanından 3B alana geri yaymasına olanak tanır ve böylece açık bir 3B denetimi olmadan öğrenmeyi mümkün kılar.

GET3D'nin Temel Yetenekleri

Yüksek Kaliteli 3D Ağlar

GET3D, farlar, dikişler, kürk ve yansımalar gibi ince ayrıntılara sahip dokulu 3B nesneler üretir; bu da onu animasyon ve simülasyon görevleri için uygun hale getirir.

Keyfi Topoloji Desteği

GET3D, daha önceki birçok modelin aksine hayvanlar, araçlar, mobilyalar, ayakkabılar ve insan avatarları gibi çok çeşitli kategorilerde karmaşık, katı olmayan şekiller üretebiliyor.

Şekil ve Dokunun Ayrık Kontrolü

GET3D, geometri ve dokuyu ayrı gizli kodlara ayırır. Kullanıcılar, varlık oluşturmada daha fazla kontrol sağlamak için her iki yönü de bağımsız olarak düzenleyebilirler.

Gizli Kod Enterpolasyonu

GET3D, gizli vektörler arasında interpolasyon yaparak, şekiller ve dokular arasında yumuşak geçişler ve dönüşümler sağlar. Bu özellik, animasyon, varlık varyasyonu ve tasarım yinelemesi için kullanışlıdır.

Metin Rehberli Üretim

CLIP tabanlı yön kaybını (StyleGAN-NADA'da görüldüğü gibi) içeren GET3D, metin kılavuzlu şekil oluşturmayı destekler. Kullanıcılar, yaratıcı kontrol için doğal dil komutlarını kullanarak çıktıları ince ayarlayabilir.

Malzeme ve Işık Efektleri

DIBR++ (hibrit bir render aracı) ile birleştirildiğinde GET3D, denetimsiz bir şekilde malzemeleri ve ışık efektlerini simüle edebilir ve renderlardaki gerçekçiliği artırabilir.

GET3D'nin uygulamaları

Oyun ve Etkileşimli Medya

Oyun geliştiricileri, tutarlı geometri ve dokuya sahip karakter modelleri, aksesuarlar ve ortamları hızla üretebilir ve bu sayede manuel modelleme süresini önemli ölçüde azaltabilirler.

Animasyon ve Film Prodüksiyonu

GET3D, esnek tasarım çeşitliliği ve doğrudan render hatlarına aktarımıyla stilize veya fotogerçekçi varlıkların hızlı prototiplenmesini sağlar.

Sanal Gerçeklik ve Meta Evren

VR yaratıcıları için ideal olan GET3D, geleneksel tarama veya modellemeye gerek kalmadan sanal alanları yüksek kaliteli 3B içerikle doldurmanın ölçeklenebilir bir yolunu sunar.

3D E-Ticaret ve Dijital İkizler

Perakendeciler ve endüstriyel tasarımcılar, GET3D'yi katalog görsellerinden ürünleri 3 boyutlu olarak görselleştirmek, etkileşimli alışveriş ve simülasyon iş akışlarını geliştirmek için kullanabilirler.

Araştırma Öne Çıkanları

• Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
• Adversarial Image-Based Training: No 3D labels or models required—just image collections.
• Latent Code Interpolation: Smooth transitions between different shapes and styles.
• High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

Projenin Kökenleri ve Katkıda Bulunanlar

GET3D, NVIDIA, Toronto Üniversitesi ve Vector Enstitüsü'nün NeurIPS 2022'de sunduğu ortak araştırmanın sonucudur. DMTet, EG3D ve DIBR++ gibi önceki çalışmalara dayanarak 3 boyutlu üretken modellemeyi daha da ileri götürmektedir.

Kaynaklar ve Erişim

• GET3D GitHub & Codebase
• Research Paper PDF & arXiv
• Citation & BibTeX Information Available on Project Page