GET3D (Nvidia)

GET3D 소개

GET3D란 무엇인가요?

GET3D는 NVIDIA에서 개발한 고급 생성 모델로, 2D 이미지 컬렉션에서 바로 고품질의 텍스처가 적용된 3D 메시를 생성합니다. 스캔, 센서 또는 CAD 도구가 필요한 기존 3D 모델링 파이프라인과 달리, GET3D는 딥러닝을 활용하여 애니메이션, 게임 및 가상 제작에 바로 사용할 수 있는 복잡한 3D 객체를 생성합니다.

3D 콘텐츠 제작의 도약

적대적 학습과 미분 가능 렌더링을 사용하여 학습된 GET3D는 사실적인 텍스처와 지오메트리를 가진 다양한 객체를 생성할 수 있습니다. 높은 충실도, 임의적 토폴로지, 그리고 정교한 재질 디테일을 갖춘 메시를 출력하여 AI와 프로덕션에 바로 적용 가능한 3D 애셋 간의 격차를 해소합니다.

GET3D 작동 방식

잠재 공간 표현

GET3D는 두 가지의 서로 다른 잠재 코드를 생성합니다. 하나는 형상(지오메트리)을 위한 것이고 다른 하나는 텍스처를 위한 것입니다. 이 코드들은 3D 메시와 표면 모양을 정의하는 부호화된 거리 필드(SDF)와 텍스처 필드를 생성하는 데 사용됩니다.

메시 추출 및 텍스처링

GET3D는 DMTet(Deep Marching Tetrahedra)을 사용하여 SDF를 삼각형 메시로 변환합니다. 그런 다음 텍스처 필드를 쿼리하여 세부적인 색상과 재질 특성을 적용하여 메시를 채색합니다.

2D 판별기를 사용한 훈련

GET3D는 적대적 손실을 적용한 2D 이미지와 실루엣을 사용하여 학습됩니다. 미분 가능한 렌더링을 통해 모델은 이미지 공간에서 3D 공간으로 오류를 역전파하여 명시적인 3D 지도 학습 없이도 학습이 가능합니다.

GET3D의 주요 기능

고품질 3D 메시

GET3D는 헤드라이트, 이음새, 털, 반사 등 세부적인 표현이 적용된 텍스처 3D 객체를 생성하므로 애니메이션 및 시뮬레이션 작업에 적합합니다.

임의 토폴로지 지원

이전 모델들과 달리 GET3D는 동물, 차량, 가구, 신발, 인간 아바타 등 다양한 범주에 걸쳐 복잡하고 고정되지 않은 모양을 생성할 수 있습니다.

모양과 질감의 자유로운 제어

GET3D는 지오메트리와 텍스처를 별도의 잠재 코드로 분리합니다. 사용자는 각 요소를 독립적으로 조작하여 자산 생성 시 더욱 뛰어난 제어력을 확보할 수 있습니다.

잠재 코드 보간

GET3D는 잠재 벡터 간 보간을 통해 모양과 텍스처 간의 부드러운 전환과 변형을 구현합니다. 이 기능은 애니메이션, 에셋 변형, 디자인 반복 작업에 유용합니다.

텍스트 기반 생성

GET3D는 StyleGAN-NADA에서 볼 수 있듯이 CLIP 기반 방향 손실(directional loss)을 통합하여 텍스트 기반 모양 생성을 지원합니다. 사용자는 자연어 프롬프트를 사용하여 출력을 미세 조정하여 창의적인 제어를 할 수 있습니다.

재료 및 조명 효과

DIBR++(하이브리드 렌더러)와 결합하면 GET3D는 비지도 방식으로 재료와 조명 효과를 시뮬레이션하여 렌더링의 사실성을 높일 수 있습니다.

GET3D의 응용 프로그램

게임 및 인터랙티브 미디어

게임 개발자는 일관된 기하학과 질감을 갖춘 캐릭터 모델, 소품 및 환경을 빠르게 생성하여 수동 모델링 시간을 크게 줄일 수 있습니다.

애니메이션 및 영화 제작

GET3D를 사용하면 유연한 디자인 변형과 렌더링 파이프라인으로의 직접 내보내기 기능을 통해 양식화되거나 사실적인 자산의 빠른 프로토타입을 제작할 수 있습니다.

가상 현실 및 메타버스

VR 제작자에게 이상적인 GET3D는 기존 스캐닝이나 모델링이 필요 없이 고품질 3D 콘텐츠로 가상 공간을 채울 수 있는 확장 가능한 방법을 제공합니다.

3D 전자상거래 및 디지털 트윈

소매업체와 산업 디자이너는 GET3D를 사용하여 카탈로그 이미지에서 제품을 3D로 시각화하여 대화형 쇼핑 및 시뮬레이션 워크플로를 개선할 수 있습니다.

연구 하이라이트

• Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
• Adversarial Image-Based Training: No 3D labels or models required—just image collections.
• Latent Code Interpolation: Smooth transitions between different shapes and styles.
• High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

프로젝트 기원 및 기여자

GET3D는 NVIDIA, 토론토 대학교, Vector Institute의 협력 연구 결과로, NeurIPS 2022에서 발표되었습니다. DMTet, EG3D, DIBR++와 같은 기존 연구를 기반으로 3D 생성 모델링을 더욱 발전시켰습니다.

리소스 및 액세스

• GET3D GitHub & Codebase
• Research Paper PDF & arXiv
• Citation & BibTeX Information Available on Project Page