コンピュータビジョン分野において、単一画像からの3D再構築技術は、2次元画像から3次元物体の形状と構造を復元する能力を持つことから、注目されている研究分野となっています。最近、著名なオープンソース大規模モデルプラットフォームであるStability-AIは、SPAR3Dという革新的なモデルをリリースし、この技術の実行速度が過去最大の0.7秒に達しました。これにより、業界に大きな変化をもたらしています。

image.png

単一画像からの3D再構築には多くの課題があります。主な技術ルートは、回帰に基づく方法と生成的モデリングの方法に分けられます。回帰に基づく方法は、可視表面を推論する際に効率が高いですが、遮蔽領域を処理する際には表面やテクスチャの推定が正確でない場合があります。一方、生成的方法は不確実性領域をより良く処理できますが、計算コストが高く、生成結果が可視表面と一致しないことがあります。

SPAR3Dは、これらの技術の長所を組み合わせることで、それぞれの限界を回避し、再構築の速度と精度を大幅に向上させました。

SPAR3Dのアーキテクチャ：効率的なポイントサンプリングとメッシュ化

SPAR3Dのアーキテクチャは、2つの主要な段階から構成されています：ポイントサンプリング段階とメッシュ化段階。

  1. ポイントサンプリング段階：この段階のコアはポイント拡散モデルであり、入力された2次元画像からXYZ座標とRGBカラー情報を含む疎なポイントクラウドを生成します。DDPM（Denoising Diffusion Probabilistic Models）フレームワークを使用しており、このモデルはガウシアンノイズを追加し、ノイズ除去器の逆プロセスを通じて、ノイジーなポイントクラウドからノイズを復元する方法を学習します。推論中に、DDIM（Denoising Diffusion Implicit Models）サンプラーを使用してポイントクラウドのサンプルを生成し、分類器フリー誘導（CFG）によってサンプリングの忠実度を向上させます。

  2. メッシュ化段階：この段階の目的は、入力画像とポイントクラウドからテクスチャ付きの3Dメッシュを生成することです。SPAR3Dは大型の三平面Transformerを使用し、画像とポイントクラウドから三平面特徴を予測し、それにより物体の幾何学的形状、テクスチャ、照明を推定します。トレーニング中には、レンダリング損失を使用して微分可能レンダラーによってモデルを監督し、生成結果の現実感と品質を保証します。

顕著な性能：伝統的な方法を超えて

GSOおよびOmniObject3Dデータセットでのテストでは、SPAR3Dは複数の評価指標において伝統的な回帰および生成ベースライン手法を大きく上回りました。例えば、GSOデータセットでは、SPAR3DのCD（Chamfer Distance）値は0.120、FS@0.1は0.584、PSNR（Peak Signal-to-Noise Ratio）は18.6であり、他の方法の性能は相対的に弱いです。OmniObject3Dデータセットでも、SPAR3Dは優れた性能を示し、CD値は0.122、FS@0.1は0.587、PSNRは17.9です。

これらの結果は、SPAR3Dが幾何学的形状およびテクスチャの質において優れた性能を発揮していることを十分に証明しており、実際の応用における潜在能力を示しています。

結語：オープンソース技術の未来

技術の進歩と応用シーンの拡大とともに、SPAR3Dはコンピュータビジョンおよび3D再構築分野で重要な役割を果たすことが間違いありません。開発者や研究者にとって、SPAR3Dのオープンソース特性は、さらに多くのイノベーションと応用の機会を提供します。

オープンソースのアドレス:https://github.com/Stability-AI/stable-point-aware-3d

Huggingface:https://huggingface.co/stabilityai/stable-point-aware-3d