最近、研究者らがMeta3D Gen（3DGen）と呼ばれる、高速で新しいテキストから3Dモデルを生成する技術を発表しました。3D Genは、高品質のテクスチャとマテリアルを持つ3Dモデルを効率的に作成し、ユーザーに全く新しい体験を提供します。
この新しいシステムは、2つの主要な部分、3Dメッシュを作成するMeta 3D AssetGenと、テクスチャを生成するMeta 3D TextureGenを組み合わせたものです。これらの技術が連携することで、高解像度のテクスチャと物理ベースレンダリング（PBR）マテリアルを持つ3Dアセットが生成されます。Metaによると、このプロセスは既存のソリューションよりも3～10倍高速です。
Meta3D AssetGen
Meta3D AssetGen（AssetGen）は、テキストから3Dを生成する分野における大きなブレークスルーであり、1分以内で高品質の3Dアセット生成を実現します。AssetGenは、物理ベースレンダリング（PBR）マテリアルを生成し、リアルな光照効果を実現する強力なテキストから3D、テキストからテクスチャへの生成能力を備えています。
AssetGenはまず、影や反射チャンネルの外観情報を含むオブジェクトのいくつかのビューを生成し、その後、3D空間で色、金属度、粗さを再構築します。効率的な監視には遅延シェーディング損失を使用しています。また、符号付き距離関数を使用して3D形状をより確実に表現し、対応する損失を導入して形状を直接監視します。メモリ効率を向上させるために、融合畳み込みカーネルを使用しています。メッシュ抽出後、UV空間でテクスチャを細分化するトランスフォーマーにより、テクスチャの鮮明さとディテールが大幅に向上します。
最良の競合手法と比較して、AssetGenはChamfer Distanceで17％、LPIPSで40％の改善を実現しました。また、同等の速度を持つ最良の業界競合者との人間の好みテストでは、72％の支持を得ています。
Meta3D TextureGen
研究者らは、Meta3D TextureGenも発表しました。これは、2つの連続したネットワークで構成される新しい順方向手法であり、任意の複雑さのジオメトリに対して、20秒以内に高品質でグローバルに一貫性のあるテクスチャを生成することを目的としています。
この手法は、2D空間でテキストから画像を生成するモデルと3Dセマンティック条件を組み合わせ、それらを完全で高解像度のUVテクスチャマッピングに融合させることで、品質と速度の両面で最先端の結果を実現しています。
研究者らは、任意の比率でテクスチャを拡大し、4Kピクセル解像度のテクスチャを生成できるテクスチャ強化ネットワークも導入しました。
公式ブログ:https://ai.meta.com/research/publications/meta-3d-gen/
要点：
- Meta 3D Genシステムは、1分以内に高品質の3Dアセットを作成できます。
- Meta3D Genは、Meta3D AssetGenとMeta3D TextureGenの2つのコア技術を統合しています。
- AssetGenは、物理ベースレンダリングのマテリアルを生成し、リアルな再光照効果を備えています。
- Meta3D TextureGenは、任意の複雑さのジオメトリに適用できる、高品質なテクスチャを高速に生成する手法です。
