GET3D (Nvidia)

GET3D Hakkında

GET3D nedir?

GET3D, NVIDIA tarafından geliştirilen ve doğrudan 2B görüntü koleksiyonlarından yüksek kaliteli, dokulu 3B ağlar oluşturan gelişmiş bir üretken modeldir. Taramalar, sensörler veya CAD araçları gerektiren geleneksel 3B modelleme boru hatlarının aksine, GET3D animasyon, oyunlar ve sanal prodüksiyonda kullanılmaya hazır karmaşık 3B nesneler oluşturmak için derin öğrenmeden yararlanır.

3D İçerik Oluşturmada Bir Atılım

Rakip öğrenme ve farklılaştırılabilir işleme kullanılarak eğitilen GET3D, gerçekçi dokular ve geometriye sahip çeşitli nesneler üretebilir. Yüksek doğruluk, keyfi topoloji ve karmaşık malzeme ayrıntılarıyla ağlar üreterek yapay zeka ile üretime hazır 3B varlıklar arasındaki boşluğu kapatır.

GET3D Nasıl Çalışır?

Gizli Uzay Temsili

GET3D iki ayrı gizli kod üretir: biri şekil (geometri) için ve diğeri doku için. Bunlar, 3B ağı ve yüzey görünümünü tanımlayan işaretli bir mesafe alanı (SDF) ve bir doku alanı üretmek için kullanılır.

Ağ Çıkarma ve Dokulama

DMTet (Derin Yürüyen Tetrahedra) kullanarak GET3D, SDF'yi üçgen bir ağa dönüştürür. Daha sonra, ağı ayrıntılı renk ve malzeme özellikleriyle boyamak için doku alanını sorgular.

2D Ayırıcılarla Eğitim

GET3D, düşmanca kayıplara sahip 2B görüntüler ve silüetler kullanılarak eğitilir. Farklılaştırılabilir işleme, modelin hataları görüntü alanından 3B alana geri yaymasına olanak tanır ve açık 3B denetimi olmadan öğrenmeyi mümkün kılar.

GET3D'nin Temel Yetenekleri

Yüksek Kaliteli 3D Mesh'ler

GET3D, farlar, dikişler, kürk ve yansımalar gibi ince ayrıntılara sahip dokulu 3B nesneler üretir; bu da onu animasyon ve simülasyon görevleri için uygun hale getirir.

Keyfi Topoloji Desteği

GET3D, daha önceki birçok modelin aksine hayvanlar, araçlar, mobilyalar, ayakkabılar ve insan avatarları da dahil olmak üzere çok çeşitli kategorilerde karmaşık, katı olmayan şekiller üretebilir.

Şekil ve Dokunun Ayrık Kontrolü

GET3D, geometri ve dokuyu ayrı gizli kodlara ayırır. Kullanıcılar, varlık üretiminde daha fazla kontrol elde etmek için her iki yönü de bağımsız olarak değiştirebilir.

Gizli Kod İnterpolasyonu

GET3D, latent vektörler arasında interpolasyon yaparak, şekiller ve dokular arasında yumuşak geçişler ve dönüşümler sağlar. Bu özellik animasyon, varlık varyasyonu ve tasarım yinelemesi için faydalıdır.

Metin Rehberliğinde Üretim

CLIP tabanlı yön kaybını (StyleGAN-NADA'da görüldüğü gibi) içeren GET3D, metin kılavuzlu şekil oluşturmayı destekler. Kullanıcılar, yaratıcı kontrol için doğal dil komutlarını kullanarak çıktıları ince ayarlayabilir.

Malzeme ve Işık Efektleri

DIBR++ (hibrit bir render aracı) ile birleştirildiğinde GET3D, denetimsiz bir şekilde malzemeleri ve ışık efektlerini simüle edebilir ve renderlardaki gerçekçiliği artırabilir.

GET3D'nin uygulamaları

Oyun ve Etkileşimli Medya

Oyun geliştiricileri, tutarlı geometri ve dokuya sahip karakter modelleri, aksesuarlar ve ortamları hızla üretebilir ve bu sayede manuel modelleme süresini önemli ölçüde azaltabilirler.

Animasyon ve Film Prodüksiyonu

GET3D, esnek tasarım çeşitliliği ve doğrudan render hatlarına aktarımıyla stilize edilmiş veya fotogerçekçi varlıkların hızlı prototiplenmesini sağlar.

Sanal Gerçeklik ve Metaverse

VR içerik üreticileri için ideal olan GET3D, geleneksel tarama veya modellemeye gerek kalmadan sanal alanları yüksek kaliteli 3B içerikle doldurmak için ölçeklenebilir bir yol sunuyor.

3D E-Ticaret ve Dijital İkizler

Perakendeciler ve endüstriyel tasarımcılar, GET3D'yi kullanarak katalog görsellerinden ürünleri 3 boyutlu olarak görselleştirebilir, etkileşimli alışveriş ve simülasyon iş akışlarını geliştirebilirler.

Araştırma Öne Çıkanlar

• Ayrıştırılmış Geometri ve Doku: Ağ şekli ve yüzey görünümünün bağımsız kontrolü.
• Karşıt Görüntü Tabanlı Eğitim: 3B etiket veya model gerekmez—sadece görüntü koleksiyonları.
• Gizli Kod İnterpolasyonu: Farklı şekiller ve stiller arasında yumuşak geçişler.
• Yüksek Uyumluluk: Blender, Unity, Unreal ve diğer motorlarla uyumlu standart örgü formatlarını çıktı olarak verir.

Proje Kökenleri ve Katkıda Bulunanlar

GET3D, NVIDIA, Toronto Üniversitesi ve Vector Enstitüsü arasındaki işbirlikli araştırmanın sonucudur ve NeurIPS 2022'de sunulmuştur. DMTet, EG3D ve DIBR++ gibi önceki çalışmalara dayanarak 3B üretken modellemeyi daha da ileri götürmektedir.

Kaynaklar ve Erişim

• GET3D GitHub ve Kod Tabanı
• Araştırma Makalesi PDF ve arXiv
• Atıf ve BibTeX Bilgileri Proje Sayfasında Mevcuttur