GET3D (Nvidia)

Acerca de GET3D

¿Qué es GET3D?

GET3D es un modelo generativo avanzado desarrollado por NVIDIA que crea mallas 3D texturizadas de alta calidad directamente a partir de colecciones de imágenes 2D. A diferencia de los procesos de modelado 3D tradicionales que requieren escaneos, sensores o herramientas CAD, GET3D aprovecha el aprendizaje profundo para generar objetos 3D complejos, listos para usar en animación, videojuegos y producción virtual.

Un salto en la creación de contenido 3D

Entrenado mediante aprendizaje adversarial y renderizado diferenciable, GET3D puede producir diversos objetos con texturas y geometría realistas. Genera mallas de alta fidelidad, topología arbitraria y detalles de materiales intrincados, acortando la distancia entre la IA y los recursos 3D listos para producción.

Cómo funciona GET3D

Representación del espacio latente

GET3D genera dos códigos latentes distintos: uno para la forma (geometría) y otro para la textura. Estos se utilizan para generar un campo de distancia con signo (SDF) y un campo de textura que definen la malla 3D y la apariencia de la superficie.

Extracción de malla y texturizado

Utilizando DMTet (Tetraedros de Marcha Profunda), GET3D convierte el SDF en una malla triangular. A continuación, consulta el campo de textura para pintar la malla con características detalladas de color y material.

Entrenamiento con discriminadores 2D

GET3D se entrena con imágenes 2D y siluetas con pérdidas adversarias. El renderizado diferenciable permite que el modelo retropropague errores del espacio de la imagen al espacio 3D, lo que facilita el aprendizaje sin supervisión 3D explícita.

Capacidades clave de GET3D

Mallas 3D de alta calidad

GET3D genera objetos 3D texturizados con detalles finos como faros, costuras, pelaje y reflejos, lo que lo hace adecuado para tareas de animación y simulación.

Soporte de topología arbitraria

A diferencia de muchos modelos anteriores, GET3D puede generar formas complejas y no rígidas en una amplia gama de categorías, incluidos animales, vehículos, muebles, zapatos y avatares humanos.

Control desenredado de forma y textura

GET3D separa la geometría y la textura en códigos latentes distintos. Los usuarios pueden manipular ambos aspectos de forma independiente para lograr un mayor control en la generación de recursos.

Interpolación de código latente

Al interpolar entre vectores latentes, GET3D permite transiciones suaves y la transformación entre formas y texturas. Esta función es útil para la animación, la variación de recursos y la iteración del diseño.

Generación guiada por texto

Al incorporar la pérdida direccional basada en CLIP (como se observa en StyleGAN-NADA), GET3D permite la generación de formas guiada por texto. Los usuarios pueden ajustar los resultados mediante indicaciones en lenguaje natural para un control creativo.

Material y efectos de iluminación

Cuando se combina con DIBR++ (un renderizador híbrido), GET3D también puede simular materiales y efectos de iluminación de forma no supervisada, mejorando el realismo en los renders.

Aplicaciones de GET3D

Juegos y medios interactivos

Los desarrolladores de juegos pueden generar rápidamente modelos de personajes, accesorios y entornos con geometría y textura consistentes, lo que reduce significativamente el tiempo de modelado manual.

Producción de animación y cine

GET3D permite la creación rápida de prototipos de activos estilizados o fotorrealistas con variación de diseño flexible y exportación directa a canales de renderizado.

Realidad virtual y metaverso

Ideal para creadores de realidad virtual, GET3D proporciona una forma escalable de poblar espacios virtuales con contenido 3D de alta calidad, sin necesidad de escaneo o modelado tradicionales.

Comercio electrónico 3D y gemelos digitales

Los minoristas y diseñadores industriales pueden utilizar GET3D para visualizar productos en 3D a partir de imágenes del catálogo, mejorando los flujos de trabajo de simulación y compras interactivas.

Aspectos destacados de la investigación

• Geometría y textura desenredadas: Control independiente de la forma de la malla y la apariencia de la superficie.
• Entrenamiento basado en imágenes adversarias: No se requieren etiquetas ni modelos 3D, solo colecciones de imágenes.
• Interpolación de código latente: Transiciones suaves entre diferentes formas y estilos.
• Alta compatibilidad: Genera formatos de malla estándar compatibles con Blender, Unity, Unreal y otros motores.

Orígenes del proyecto y colaboradores

GET3D es el resultado de una investigación colaborativa entre NVIDIA, la Universidad de Toronto y el Vector Institute, presentada en NeurIPS 2022. Se basa en trabajos previos como DMTet, EG3D y DIBR++, avanzando aún más en el modelado generativo 3D.

Recursos y acceso

• GitHub y código base de GET3D
• Documento de investigación en PDF y arXiv
• Información sobre citas y BibTeX disponible en la página del proyecto