GET3D (Nvidia)

Sobre a GET3D

O que é GET3D?

O GET3D é um modelo generativo avançado desenvolvido pela NVIDIA que cria malhas 3D texturizadas de alta qualidade diretamente a partir de coleções de imagens 2D. Ao contrário dos fluxos de trabalho tradicionais de modelagem 3D que exigem digitalizações, sensores ou ferramentas CAD, o GET3D utiliza aprendizado profundo para gerar objetos 3D complexos, prontos para uso em animação, jogos e produção virtual.

Um salto na criação de conteúdo 3D

Treinado com aprendizado adversarial e renderização diferenciável, o GET3D consegue produzir diversos objetos com texturas e geometrias realistas. Ele gera malhas com alta fidelidade, topologia arbitrária e detalhes de materiais complexos, preenchendo a lacuna entre a IA e os modelos 3D prontos para produção.

Como funciona o GET3D

Representação do Espaço Latente

O GET3D gera dois códigos latentes distintos: um para forma (geometria) e outro para textura. Estes são usados ​​para produzir um campo de distância com sinal (SDF) e um campo de textura que definem a malha 3D e a aparência da superfície.

Extração e texturização de malhas

Utilizando o DMTet (Deep Marching Tetrahedra), o GET3D converte o SDF em uma malha triangular. Em seguida, consulta o campo de textura para pintar a malha com cores detalhadas e características de material.

Treinamento com discriminadores 2D

O GET3D é treinado usando imagens 2D e silhuetas com perdas adversárias. A renderização diferenciável permite que o modelo retropropague os erros do espaço da imagem para o espaço 3D, possibilitando o aprendizado sem supervisão 3D explícita.

Principais funcionalidades do GET3D

Malhas 3D de alta qualidade

O GET3D gera objetos 3D texturizados com detalhes minuciosos, como faróis, costuras, pelos e reflexos, tornando-o adequado para tarefas de animação e simulação.

Suporte a topologias arbitrárias

Diferentemente de muitos modelos anteriores, o GET3D pode gerar formas complexas e não rígidas em uma ampla gama de categorias, incluindo animais, veículos, móveis, sapatos e avatares humanos.

Controle desvinculado de forma e textura

O GET3D separa a geometria e a textura em códigos latentes distintos. Os usuários podem manipular cada aspecto independentemente para obter maior controle na geração de ativos.

Interpolação de código latente

Ao interpolar entre vetores latentes, o GET3D permite transições suaves e transformações entre formas e texturas. Esse recurso é útil para animação, variação de elementos e iteração de design.

Geração guiada por texto

Incorporando a perda direcional baseada em CLIP (como visto no StyleGAN-NADA), o GET3D suporta a geração de formas guiada por texto. Os usuários podem ajustar os resultados usando instruções em linguagem natural para maior controle criativo.

Efeitos de materiais e iluminação

Quando combinado com o DIBR++ (um renderizador híbrido), o GET3D também pode simular materiais e efeitos de iluminação de forma não supervisionada, aumentando o realismo nas renderizações.

Aplicações do GET3D

Jogos e Mídia Interativa

Os desenvolvedores de jogos podem gerar rapidamente modelos de personagens, objetos e ambientes com geometria e textura consistentes, reduzindo significativamente o tempo de modelagem manual.

Animação e Produção Cinematográfica

O GET3D permite a prototipagem rápida de elementos estilizados ou fotorrealistas com variações de design flexíveis e exportação direta para fluxos de trabalho de renderização.

Realidade Virtual e Metaverso

Ideal para criadores de realidade virtual, o GET3D oferece uma maneira escalável de preencher espaços virtuais com conteúdo 3D de alta qualidade, sem a necessidade de digitalização ou modelagem tradicionais.

Comércio eletrônico 3D e gêmeos digitais

Lojistas e designers industriais podem usar o GET3D para visualizar produtos em 3D a partir de imagens de catálogo, aprimorando as experiências de compra interativas e os fluxos de trabalho de simulação.

Destaques da pesquisa

• Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
• Adversarial Image-Based Training: No 3D labels or models required—just image collections.
• Latent Code Interpolation: Smooth transitions between different shapes and styles.
• High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

Origens e Colaboradores do Projeto

O GET3D é o resultado de uma pesquisa colaborativa entre a NVIDIA, a Universidade de Toronto e o Vector Institute, apresentada na NeurIPS 2022. Ele se baseia em trabalhos anteriores como DMTet, EG3D e DIBR++, aprimorando ainda mais a modelagem generativa 3D.

Recursos e Acesso

• GET3D GitHub & Codebase
• Research Paper PDF & arXiv
• Citation & BibTeX Information Available on Project Page