GET3D (Nvidia)
GET3D — это модель ИИ от NVIDIA, которая генерирует подробные, текстурированные 3D-сетки непосредственно из 2D-изображений. Идеально подходит для игр, анимации и создания виртуальных миров — 3D-сканирование не требуется.
Связанные публикации
О GET3D
Что такое GET3D?
GET3D — это усовершенствованная генеративная модель, разработанная NVIDIA, которая создает высококачественные текстурированные 3D-сетки непосредственно из коллекций 2D-изображений. В отличие от традиционных конвейеров 3D-моделирования, требующих сканирования, датчиков или инструментов CAD, GET3D использует глубокое обучение для создания сложных 3D-объектов, готовых к использованию в анимации, играх и виртуальном производстве.
Скачок в создании 3D-контента
Обученный с помощью состязательного обучения и дифференцируемого рендеринга, GET3D может создавать разнообразные объекты с реалистичными текстурами и геометрией. Он выводит сетки с высокой точностью, произвольной топологией и сложными материальными деталями, сокращая разрыв между ИИ и готовыми к производству 3D-активами.
Как работает GET3D
Скрытое пространственное представление
GET3D генерирует два различных скрытых кода: один для формы (геометрии) и другой для текстуры. Они используются для создания поля расстояний со знаком (SDF) и поля текстуры, которые определяют 3D-сетку и внешний вид поверхности.
Извлечение сетки и текстурирование
Используя DMTet (Deep Marching Tetrahedra), GET3D преобразует SDF в треугольную сетку. Затем он запрашивает поле текстуры, чтобы нарисовать сетку с подробными характеристиками цвета и материала.
Обучение с помощью 2D-дискриминаторов
GET3D обучается с использованием 2D-изображений и силуэтов с состязательными потерями. Дифференцируемый рендеринг позволяет модели распространять ошибки из пространства изображений в 3D-пространство, что позволяет обучаться без явного 3D-контроля.
Основные возможности GET3D
Высококачественные 3D-сетки
GET3D создает текстурированные 3D-объекты с мелкими деталями, такими как фары, швы, мех и отражения, что делает его пригодным для задач анимации и моделирования.
Поддержка произвольной топологии
В отличие от многих более ранних моделей, GET3D может генерировать сложные, нежесткие формы в широком диапазоне категорий, включая животных, транспортные средства, мебель, обувь и человеческие аватары.
Распутанный контроль формы и текстуры
GET3D разделяет геометрию и текстуру на отдельные скрытые коды. Пользователи могут независимо манипулировать любым из аспектов для достижения большего контроля над генерацией активов.
Интерполяция скрытого кода
Интерполируя между скрытыми векторами, GET3D обеспечивает плавные переходы и морфинг между формами и текстурами. Эта функция полезна для анимации, изменения активов и итерации дизайна.
Генерация под управлением текста
Включая направленную потерю на основе CLIP (как показано в StyleGAN-NADA), GET3D поддерживает генерацию формы с текстовым руководством. Пользователи могут точно настраивать выходные данные, используя подсказки на естественном языке для творческого контроля.
Материалы и световые эффекты
В сочетании с DIBR++ (гибридным рендерером) GET3D также может моделировать материалы и световые эффекты в неконтролируемом режиме, повышая реалистичность рендеров.
Приложения GET3D
Игры и интерактивные медиа
Разработчики игр могут быстро создавать модели персонажей, реквизит и окружение с единой геометрией и текстурой, что значительно сокращает время ручного моделирования.
Анимация и кинопроизводство
GET3D обеспечивает быстрое создание прототипов стилизованных или фотореалистичных ресурсов с гибкими вариациями дизайна и прямым экспортом в конвейеры рендеринга.
Виртуальная реальность и Метавселенная
GET3D идеально подходит для создателей виртуальной реальности, предоставляя масштабируемый способ заполнения виртуальных пространств высококачественным 3D-контентом — без необходимости традиционного сканирования или моделирования.
3D-электронная коммерция и цифровые двойники
Розничные торговцы и промышленные дизайнеры могут использовать GET3D для визуализации продукции в 3D из изображений каталогов, улучшая интерактивные процессы покупок и моделирования.
Основные моменты исследования
- Разобранная геометрия и текстура: независимое управление формой сетки и внешним видом поверхности.
- Обучение на основе состязательных изображений: не требуются 3D-метки или модели — только коллекции изображений.
- Интерполяция скрытого кода: плавные переходы между различными формами и стилями.
- Высокая совместимость: выводит стандартные форматы сеток, совместимые с Blender, Unity, Unreal и другими движками.
Истоки проекта и участники
GET3D — это результат совместных исследований NVIDIA, Университета Торонто и Vector Institute, представленный на NeurIPS 2022. Он основан на предыдущих работах, таких как DMTet, EG3D и DIBR++, и обеспечивает дальнейшее развитие генеративного 3D-моделирования.
Ресурсы и доступ
- GET3D GitHub и кодовая база
- Исследовательская работа PDF и arXiv
- Информация о цитировании и BibTeX доступна на странице проекта