GET3D (Nvidia)

О GET3D

Что такое GET3D?

GET3D — это передовая генеративная модель, разработанная NVIDIA, которая создаёт высококачественные текстурированные 3D-сетки непосредственно из коллекций 2D-изображений. В отличие от традиционных процессов 3D-моделирования, требующих сканирования, датчиков и инструментов САПР, GET3D использует глубокое обучение для создания сложных 3D-объектов, готовых к использованию в анимации, играх и виртуальном производстве.

Скачок в создании 3D-контента

Обученный с помощью состязательного обучения и дифференцируемого рендеринга, GET3D способен создавать разнообразные объекты с реалистичными текстурами и геометрией. Он создаёт сетки с высокой точностью, произвольной топологией и сложной детализацией материалов, сокращая разрыв между ИИ и готовыми к производству 3D-объектами.

Как работает GET3D

Представление скрытого пространства

GET3D генерирует два различных скрытых кода: один для формы (геометрии), а другой для текстуры. Они используются для создания поля расстояний со знаком (SDF) и поля текстуры, которые определяют трёхмерную сетку и внешний вид поверхности.

Извлечение сетки и текстурирование

Используя DMTet (Deep Marching Tetrahedra), GET3D преобразует SDF-файл в треугольную сетку. Затем он запрашивает поле текстуры, чтобы раскрасить сетку с подробными характеристиками цвета и материала.

Обучение с помощью 2D-дискриминаторов

GET3D обучается на 2D-изображениях и силуэтах с использованием состязательных потерь. Дифференцируемый рендеринг позволяет модели переносить ошибки из пространства изображений в 3D-пространство, что позволяет обучаться без явного контроля в 3D-среде.

Ключевые возможности GET3D

Высококачественные 3D-сетки

GET3D создает текстурированные 3D-объекты с мелкими деталями, такими как фары, швы, мех и отражения, что делает его пригодным для задач анимации и моделирования.

Поддержка произвольной топологии

В отличие от многих более ранних моделей, GET3D может генерировать сложные, нежесткие формы в широком спектре категорий, включая животных, транспортные средства, мебель, обувь и человеческие аватары.

Распутанный контроль формы и текстуры

GET3D разделяет геометрию и текстуру на отдельные скрытые коды. Пользователи могут независимо управлять каждым из этих аспектов, обеспечивая более полный контроль над генерацией ресурсов.

Интерполяция скрытого кода

Благодаря интерполяции между скрытыми векторами GET3D обеспечивает плавные переходы и морфинг между формами и текстурами. Эта функция полезна для анимации, вариации ресурсов и итераций дизайна.

Генерация текста под управлением

Благодаря использованию метода направленных потерь на основе CLIP (как в StyleGAN-NADA), GET3D поддерживает генерацию фигур с помощью текстовых подсказок. Пользователи могут точно настраивать выходные данные, используя подсказки на естественном языке для творческого управления.

Материалы и световые эффекты

В сочетании с DIBR++ (гибридным рендерером) GET3D также может моделировать материалы и световые эффекты в неконтролируемом режиме, повышая реализм рендеров.

Приложения GET3D

Игры и интерактивные медиа

Разработчики игр могут быстро создавать модели персонажей, реквизит и окружение с единой геометрией и текстурой, что значительно сокращает время ручного моделирования.

Анимация и кинопроизводство

GET3D обеспечивает быстрое создание прототипов стилизованных или фотореалистичных ресурсов с гибкими вариациями дизайна и прямым экспортом в конвейеры рендеринга.

Виртуальная реальность и Метавселенная

GET3D идеально подходит для создателей виртуальной реальности, предоставляя масштабируемый способ заполнения виртуальных пространств высококачественным 3D-контентом — без необходимости традиционного сканирования или моделирования.

3D-электронная коммерция и цифровые двойники

Розничные торговцы и промышленные дизайнеры могут использовать GET3D для визуализации продукции в 3D из изображений каталога, улучшая интерактивные процессы покупок и моделирования.

Основные моменты исследования

• Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
• Adversarial Image-Based Training: No 3D labels or models required—just image collections.
• Latent Code Interpolation: Smooth transitions between different shapes and styles.
• High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

Истоки проекта и участники

GET3D — это результат совместных исследований NVIDIA, Университета Торонто и Vector Institute, представленный на конференции NeurIPS 2022. Он основан на таких предыдущих работах, как DMTet, EG3D и DIBR++, и обеспечивает дальнейшее развитие генеративного 3D-моделирования.

Ресурсы и доступ

• GET3D GitHub & Codebase
• Research Paper PDF & arXiv
• Citation & BibTeX Information Available on Project Page