ツールニュースガイド動画Discordツールを投稿する

GET3D (Nvidia)

GET3Dは、2D画像から直接、詳細なテクスチャ付き3Dメッシュを生成するNVIDIAのAIモデルです。ゲーム、アニメーション、仮想世界の作成に最適で、3Dスキャンは不要です。

AIへ移動
GET3D (Nvidia) cover

GET3Dについて

GET3Dとは何ですか?

GET3Dは、NVIDIAが開発した高度な生成モデルで、2D画像コレクションから直接、高品質でテクスチャ付きの3Dメッシュを作成します。スキャン、センサー、CADツールを必要とする従来の3Dモデリングパイプラインとは異なり、GET3Dはディープラーニングを活用して複雑な3Dオブジェクトを生成します。アニメーション、ゲーム、バーチャルプロダクションですぐに使用できます。

3Dコンテンツ制作の飛躍

敵対的学習と微分可能レンダリングを用いて訓練されたGET3Dは、リアルなテクスチャとジオメトリを持つ多様なオブジェクトを生成できます。高忠実度、任意のトポロジ、そして複雑なマテリアルディテールを備えたメッシュを出力し、AIと実稼働可能な3Dアセットの間のギャップを埋めます。

GET3Dの仕組み

潜在空間表現

GET3Dは、形状（ジオメトリ）用とテクスチャ用の2つの異なる潜在コードを生成します。これらは、3Dメッシュと表面の外観を定義する符号付き距離場（SDF）とテクスチャ場を生成するために使用されます。

メッシュ抽出とテクスチャリング

GET3DはDMTet（Deep Marching Tetrahedra）を用いてSDFを三角形メッシュに変換します。その後、テクスチャフィールドをクエリし、メッシュに詳細な色と材質の特徴を描画します。

2D識別器によるトレーニング

GET3Dは、敵対的損失を考慮した2D画像とシルエットを用いて学習されます。微分可能なレンダリングにより、モデルは画像空間から3D空間への誤差逆伝播が可能になり、明示的な3D教師なしで学習が可能になります。

GET3Dの主な機能

高品質の3Dメッシュ

GET3D は、ヘッドライト、継ぎ目、毛皮、反射などの細かいディテールを備えたテクスチャ付きの 3D オブジェクトを生成するため、アニメーションやシミュレーションのタスクに適しています。

任意のトポロジのサポート

以前の多くのモデルとは異なり、GET3D は、動物、乗り物、家具、靴、人間のアバターなど、幅広いカテゴリにわたって複雑で非剛体の形状を生成できます。

形状と質感の分離制御

GET3Dはジオメトリとテクスチャをそれぞれ異なる潜在コードに分離します。ユーザーはどちらの側面も個別に操作できるため、アセット生成におけるより高度な制御が可能になります。

潜在的コード補間

GET3Dは、潜在ベクトル間の補間により、形状とテクスチャ間のスムーズな遷移とモーフィングを実現します。この機能は、アニメーション、アセットのバリエーション、デザインの反復処理に役立ちます。

テキストガイド生成

GET3Dは、CLIPベースの方向性損失（StyleGAN-NADAに見られるもの）を組み込んだテキストガイドによる形状生成をサポートしています。ユーザーは自然言語プロンプトを使用して出力を微調整し、クリエイティブなコントロールを行うことができます。

マテリアルと照明効果

DIBR++ (ハイブリッド レンダラー) と組み合わせると、GET3D は教師なし方式でマテリアルと照明効果をシミュレートし、レンダリングのリアリティを高めることもできます。

GET3Dの応用

ゲームとインタラクティブメディア

ゲーム開発者は、一貫したジオメトリとテクスチャを使用してキャラクター モデル、小道具、環境を迅速に生成できるため、手動によるモデリング時間が大幅に短縮されます。

アニメーションと映画制作

GET3D を使用すると、柔軟なデザインバリエーションとレンダリング パイプラインへの直接エクスポートにより、様式化されたアセットやフォトリアリスティックなアセットの迅速なプロトタイピングが可能になります。

バーチャルリアリティとメタバース

VR クリエイターに最適な GET3D は、従来のスキャンやモデリングを必要とせずに、高品質の 3D コンテンツを仮想空間に取り込むためのスケーラブルな方法を提供します。

3D Eコマースとデジタルツイン

小売業者や工業デザイナーは、GET3D を使用してカタログ画像から製品を 3D で視覚化し、インタラクティブなショッピングやシミュレーション ワークフローを強化できます。

研究ハイライト

  • Disentangled Geometry and Texture: Independent control of mesh shape and surface appearance.
  • Adversarial Image-Based Training: No 3D labels or models required—just image collections.
  • Latent Code Interpolation: Smooth transitions between different shapes and styles.
  • High Compatibility: Outputs standard mesh formats compatible with Blender, Unity, Unreal, and other engines.

プロジェクトの起源と貢献者

GET3D は、NVIDIA、トロント大学、Vector Institute の共同研究の成果であり、NeurIPS 2022 で発表されました。DMTet、EG3D、DIBR++ などの過去の研究を基に構築されており、3D 生成モデリングをさらに進化させています。

リソースとアクセス

  • GET3D GitHub & Codebase
  • Research Paper PDF & arXiv
  • Citation & BibTeX Information Available on Project Page

代替ツール