GET3D (Nvidia)

GET3D के बारे में

GET3D क्या है?

GET3D, NVIDIA द्वारा विकसित एक उन्नत जनरेटिव मॉडल है जो 2D इमेज कलेक्शन से सीधे उच्च-गुणवत्ता वाले, टेक्सचर्ड 3D मेश बनाता है। पारंपरिक 3D मॉडलिंग पाइपलाइनों के विपरीत, जिनमें स्कैन, सेंसर या CAD टूल्स की आवश्यकता होती है, GET3D जटिल 3D ऑब्जेक्ट्स बनाने के लिए डीप लर्निंग का लाभ उठाता है—जो एनीमेशन, गेम्स और वर्चुअल प्रोडक्शन में उपयोग के लिए तैयार हैं।

3D सामग्री निर्माण में एक छलांग

प्रतिकूल शिक्षण और विभेदक रेंडरिंग का उपयोग करके प्रशिक्षित, GET3D यथार्थवादी बनावट और ज्यामिति के साथ विविध वस्तुएँ उत्पन्न कर सकता है। यह उच्च निष्ठा, मनमाने टोपोलॉजी और जटिल सामग्री विवरणों के साथ मेश आउटपुट करता है, जिससे AI और उत्पादन-तैयार 3D संपत्तियों के बीच की खाई पाट जाती है।

GET3D कैसे काम करता है

अव्यक्त स्थान प्रतिनिधित्व

GET3D दो अलग-अलग अव्यक्त कोड उत्पन्न करता है: एक आकार (ज्यामिति) के लिए और दूसरा बनावट के लिए। इनका उपयोग एक हस्ताक्षरित दूरी क्षेत्र (SDF) और एक बनावट क्षेत्र बनाने के लिए किया जाता है जो 3D मेश और सतह के स्वरूप को परिभाषित करता है।

जाल निष्कर्षण और बनावट

DMTet (डीप मार्चिंग टेट्राहेड्रा) का उपयोग करके, GET3D SDF को एक त्रिकोणीय जाल में परिवर्तित करता है। फिर, यह जाल को विस्तृत रंग और सामग्री विशेषताओं के साथ चित्रित करने के लिए टेक्सचर फ़ील्ड से क्वेरी करता है।

2D डिस्क्रिमिनेटर्स के साथ प्रशिक्षण

GET3D को प्रतिकूल हानियों वाले 2D चित्रों और छायाचित्रों का उपयोग करके प्रशिक्षित किया जाता है। विभेदक रेंडरिंग मॉडल को चित्र स्थान से 3D स्थान में त्रुटियों को प्रतिप्रसारित करने की अनुमति देता है, जिससे स्पष्ट 3D पर्यवेक्षण के बिना सीखना संभव हो जाता है।

GET3D की प्रमुख क्षमताएँ

उच्च-गुणवत्ता वाले 3D मेश

GET3D हेडलाइट्स, सीम, फर और प्रतिबिंब जैसे बारीक विवरणों के साथ बनावट वाली 3D वस्तुएं उत्पन्न करता है — जो इसे एनीमेशन और सिमुलेशन कार्यों के लिए उपयुक्त बनाता है।

मनमाना टोपोलॉजी समर्थन

कई पूर्ववर्ती मॉडलों के विपरीत, GET3D पशुओं, वाहनों, फर्नीचर, जूतों और मानव अवतारों सहित कई श्रेणियों में जटिल, गैर-कठोर आकृतियां उत्पन्न कर सकता है।

आकार और बनावट का विच्छेदित नियंत्रण

GET3D ज्यामिति और बनावट को अलग-अलग अव्यक्त कोड में विभाजित करता है। उपयोगकर्ता संपत्ति निर्माण में बेहतर नियंत्रण प्राप्त करने के लिए किसी भी पहलू में स्वतंत्र रूप से हेरफेर कर सकते हैं।

अव्यक्त कोड प्रक्षेप

अव्यक्त सदिशों के बीच अंतर्वेशन करके, GET3D आकृतियों और बनावटों के बीच सहज संक्रमण और मॉर्फिंग को सक्षम बनाता है। यह सुविधा एनिमेशन, परिसंपत्ति परिवर्तन और डिज़ाइन पुनरावृत्ति के लिए उपयोगी है।

पाठ-निर्देशित पीढ़ी

CLIP-आधारित दिशात्मक हानि (जैसा कि StyleGAN-NADA में देखा गया है) को शामिल करते हुए, GET3D टेक्स्ट-निर्देशित आकार निर्माण का समर्थन करता है। उपयोगकर्ता रचनात्मक नियंत्रण के लिए प्राकृतिक भाषा संकेतों का उपयोग करके आउटपुट को बेहतर बना सकते हैं।

सामग्री और प्रकाश प्रभाव

DIBR++ (एक हाइब्रिड रेंडरर) के साथ संयुक्त होने पर, GET3D भी अप्रशिक्षित तरीके से सामग्रियों और प्रकाश प्रभावों का अनुकरण कर सकता है, जिससे रेंडर में यथार्थवादिता बढ़ जाती है।

GET3D के अनुप्रयोग

गेमिंग और इंटरैक्टिव मीडिया

गेम डेवलपर्स तेजी से सुसंगत ज्यामिति और बनावट के साथ चरित्र मॉडल, प्रॉप्स और वातावरण तैयार कर सकते हैं, जिससे मैनुअल मॉडलिंग का समय काफी कम हो जाता है।

एनीमेशन और फिल्म निर्माण

GET3D लचीले डिजाइन विविधता और रेंडरिंग पाइपलाइनों में प्रत्यक्ष निर्यात के साथ स्टाइलाइज्ड या फोटोरियलिस्टिक परिसंपत्तियों के तेजी से प्रोटोटाइपिंग को सक्षम बनाता है।

आभासी वास्तविकता और मेटावर्स

VR रचनाकारों के लिए आदर्श, GET3D उच्च गुणवत्ता वाली 3D सामग्री के साथ आभासी स्थानों को भरने के लिए एक स्केलेबल तरीका प्रदान करता है — पारंपरिक स्कैनिंग या मॉडलिंग की आवश्यकता के बिना।

3D ई-कॉमर्स और डिजिटल ट्विन्स

खुदरा विक्रेता और औद्योगिक डिजाइनर कैटलॉग छवियों से 3D में उत्पादों को देखने के लिए GET3D का उपयोग कर सकते हैं, जिससे इंटरैक्टिव खरीदारी और सिमुलेशन वर्कफ़्लो में वृद्धि हो सकती है।

अनुसंधान की मुख्य विशेषताएं

• Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
• Adversarial Image-Based Training: No 3D labels or models required—just image collections.
• Latent Code Interpolation: Smooth transitions between different shapes and styles.
• High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

परियोजना की उत्पत्ति और योगदानकर्ता

GET3D, NVIDIA, टोरंटो विश्वविद्यालय और वेक्टर इंस्टीट्यूट के बीच सहयोगात्मक अनुसंधान का परिणाम है, जिसे NeurIPS 2022 में प्रस्तुत किया गया। यह DMTet, EG3D और DIBR++ जैसे पूर्व कार्यों पर आधारित है, जो 3D जनरेटिव मॉडलिंग को और आगे बढ़ाता है।

संसाधन और पहुँच

• GET3D GitHub & Codebase
• Research Paper PDF & arXiv
• Citation & BibTeX Information Available on Project Page