GET3D (Nvidia)
GET3D NVIDIA का AI मॉडल है जो 2D इमेज से सीधे विस्तृत, टेक्सचर्ड 3D मेश बनाता है। गेमिंग, एनीमेशन और वर्चुअल वर्ल्ड क्रिएशन के लिए आदर्श - 3D स्कैनिंग की आवश्यकता नहीं है।
संबंधित पोस्ट
GET3D के बारे में
GET3D क्या है?
GET3D NVIDIA द्वारा विकसित एक उन्नत जनरेटिव मॉडल है जो 2D छवि संग्रह से सीधे उच्च-गुणवत्ता वाले, बनावट वाले 3D मेश बनाता है। पारंपरिक 3D मॉडलिंग पाइपलाइनों के विपरीत, जिन्हें स्कैन, सेंसर या CAD टूल की आवश्यकता होती है, GET3D जटिल 3D ऑब्जेक्ट बनाने के लिए डीप लर्निंग का लाभ उठाता है — जो एनीमेशन, गेम और वर्चुअल प्रोडक्शन में उपयोग के लिए तैयार हैं।
3D सामग्री निर्माण में एक छलांग
प्रतिकूल शिक्षण और विभेदक रेंडरिंग का उपयोग करके प्रशिक्षित, GET3D यथार्थवादी बनावट और ज्यामिति के साथ विविध ऑब्जेक्ट्स का उत्पादन कर सकता है। यह उच्च निष्ठा, मनमाना टोपोलॉजी और जटिल सामग्री विवरण के साथ मेश का उत्पादन करता है, जो AI और उत्पादन-तैयार 3D परिसंपत्तियों के बीच की खाई को पाटता है।
GET3D कैसे काम करता है
अव्यक्त स्थान प्रतिनिधित्व
GET3D दो अलग-अलग अव्यक्त कोड उत्पन्न करता है: एक आकार (ज्यामिति) के लिए और दूसरा बनावट के लिए। इनका उपयोग एक हस्ताक्षरित दूरी क्षेत्र (SDF) और एक बनावट क्षेत्र बनाने के लिए किया जाता है जो 3D जाल और सतह की उपस्थिति को परिभाषित करता है।
मेष निष्कर्षण और बनावट
DMTet (डीप मार्चिंग टेट्राहेड्रा) का उपयोग करके, GET3D SDF को त्रिकोणीय जाल में परिवर्तित करता है। फिर, यह विस्तृत रंग और सामग्री सुविधाओं के साथ जाल को पेंट करने के लिए बनावट क्षेत्र से पूछताछ करता है।
2D डिस्क्रिमिनेटर्स के साथ प्रशिक्षण
GET3D को 2D छवियों और प्रतिकूल नुकसानों के साथ सिल्हूट का उपयोग करके प्रशिक्षित किया जाता है। विभेदक रेंडरिंग मॉडल को छवि स्थान से 3D स्थान में त्रुटियों को वापस प्रसारित करने की अनुमति देता है, जिससे स्पष्ट 3D पर्यवेक्षण के बिना सीखना संभव हो जाता है।
GET3D की प्रमुख क्षमताएं
उच्च गुणवत्ता वाले 3D मेश
GET3D हेडलाइट्स, सीम, फर और प्रतिबिंब जैसे बारीक विवरणों के साथ बनावट वाले 3D ऑब्जेक्ट्स उत्पन्न करता है — जो इसे एनीमेशन और सिमुलेशन कार्यों के लिए उपयुक्त बनाता है।
मनमाना टोपोलॉजी समर्थन
कई पूर्ववर्ती मॉडलों के विपरीत, GET3D पशुओं, वाहनों, फर्नीचर, जूतों और मानव अवतारों सहित कई श्रेणियों में जटिल, गैर-कठोर आकृतियां उत्पन्न कर सकता है।
आकार और बनावट का विच्छेदित नियंत्रण
GET3D ज्यामिति और बनावट को अलग-अलग अव्यक्त कोड में अलग करता है। उपयोगकर्ता संपत्ति निर्माण में अधिक नियंत्रण प्राप्त करने के लिए किसी भी पहलू को स्वतंत्र रूप से हेरफेर कर सकते हैं।
अव्यक्त कोड प्रक्षेप
लेटेंट वेक्टर के बीच इंटरपोलेशन करके, GET3D आकृतियों और बनावटों के बीच सहज संक्रमण और मॉर्फिंग को सक्षम बनाता है। यह सुविधा एनिमेशन, एसेट वेरिएशन और डिज़ाइन पुनरावृत्ति के लिए उपयोगी है।
पाठ-निर्देशित पीढ़ी
CLIP-आधारित दिशात्मक हानि (जैसा कि स्टाइलगैन-नाडा में देखा गया है) को शामिल करते हुए, GET3D टेक्स्ट-निर्देशित आकार निर्माण का समर्थन करता है। उपयोगकर्ता रचनात्मक नियंत्रण के लिए प्राकृतिक भाषा संकेतों का उपयोग करके आउटपुट को ठीक कर सकते हैं।
सामग्री और प्रकाश प्रभाव
DIBR++ (एक हाइब्रिड रेंडरर) के साथ संयुक्त होने पर, GET3D भी अप्रशिक्षित तरीके से सामग्रियों और प्रकाश प्रभावों का अनुकरण कर सकता है, जिससे रेंडर में यथार्थवादिता बढ़ जाती है।
GET3D के अनुप्रयोग
गेमिंग और इंटरैक्टिव मीडिया
गेम डेवलपर्स तेजी से सुसंगत ज्यामिति और बनावट के साथ चरित्र मॉडल, प्रॉप्स और वातावरण तैयार कर सकते हैं, जिससे मैनुअल मॉडलिंग का समय काफी कम हो जाता है।
एनीमेशन और फिल्म निर्माण
GET3D लचीले डिजाइन भिन्नता और रेंडरिंग पाइपलाइनों में सीधे निर्यात के साथ स्टाइलाइज्ड या फोटोरीलिस्टिक परिसंपत्तियों के तेजी से प्रोटोटाइपिंग को सक्षम बनाता है।
आभासी वास्तविकता और मेटावर्स
VR रचनाकारों के लिए आदर्श, GET3D पारंपरिक स्कैनिंग या मॉडलिंग की आवश्यकता के बिना, उच्च गुणवत्ता वाली 3D सामग्री के साथ आभासी स्थानों को भरने के लिए एक स्केलेबल तरीका प्रदान करता है।
3D ई-कॉमर्स और डिजिटल ट्विन्स
खुदरा विक्रेता और औद्योगिक डिजाइनर कैटलॉग छवियों से 3D में उत्पादों को देखने के लिए GET3D का उपयोग कर सकते हैं, जिससे इंटरैक्टिव खरीदारी और सिमुलेशन वर्कफ़्लो में वृद्धि हो सकती है।
अनुसंधान की मुख्य विशेषताएं
- विसंयोजित ज्यामिति और बनावट: जाल आकार और सतह उपस्थिति का स्वतंत्र नियंत्रण।
- प्रतिकूल छवि-आधारित प्रशिक्षण: किसी 3D लेबल या मॉडल की आवश्यकता नहीं है — केवल छवि संग्रह।
- अव्यक्त कोड प्रक्षेप: विभिन्न आकृतियों और शैलियों के बीच सहज संक्रमण।
- उच्च संगतता: ब्लेंडर, यूनिटी, अनरियल और अन्य इंजनों के साथ संगत मानक मेष प्रारूपों को आउटपुट करता है।
परियोजना की उत्पत्ति और योगदानकर्ता
GET3D, NVIDIA, टोरंटो विश्वविद्यालय और वेक्टर इंस्टीट्यूट के बीच सहयोगात्मक शोध का परिणाम है, जिसे NeurIPS 2022 में प्रस्तुत किया गया। यह DMTet, EG3D और DIBR++ जैसे पिछले कार्यों पर आधारित है, जो 3D जनरेटिव मॉडलिंग को और आगे बढ़ाता है।
संसाधन और पहुंच
- GET3D GitHub और कोडबेस
- शोध पत्र पीडीएफ और arXiv
- परियोजना पृष्ठ पर उद्धरण और BibTeX जानकारी उपलब्ध है