ビットテンはPICO-MRチームが正式にEX-4Dをオープンソース化しました。これは画期的な4Dビデオ生成フレームワークで、単一の視点（モノクロ）の動画から高品質で多視点の4Dビデオシーケンス（3D空間＋時間次元）を生成できます。この技術はビデオ生成技術において新たなマイルストーンとなりました。EX-4Dは既存のオープンソース手法よりも技術指標で優れており、没入型3Dコンテンツ制作や「世界モデル」構築にも重要な支援を提供しています。以下にAIbaseによるこの先進技術の詳細な解説を紹介します。
**技術的突破：モノクロムビデオから自由な視点へ**
従来のビデオ生成技術では、多視点生成に関して2つの大きな課題がありました。1つは、多くの多視点カメラとデータセットを用いてトレーニングを行う必要があること。もう1つは、遮蔽領域を処理するのが難しいため、極端な視点でのビデオ生成時に物体が透けて見えたり、細部が失真したりすることです。EX-4Dは、独自の**深さ密閉メッシュ（DW-Mesh）**表現と軽量なアダプター構造により、これらの問題を解決しました。
DW-MeshはEX-4Dの核心技術であり、シーン内の可視面片と不可視面片を記録する完全な密閉メッシュ構造を構築し、複雑なシーントポロジーを統一的に処理するために多視点の監督なしでも動作します。予測済みの深さ予測モデルと組み合わせて、EX-4Dは単一フレームのピクセルを3D空間に投影し、メッシュ頂点として形成します。また、幾何学的関係に基づき正確に遮蔽領域をマークします。この方法により、極端な視点（±90°）においても生成されたビデオが物理的整合性と細部の完成度を保ちます。
さらに、EX-4Dは2種類のマスク生成戦略、**レンダリングマスク**と**トラッキングマスク**を導入しました。これらは視点の移動を模擬し、フレーム間の一貫性を確保することで、多視点トレーニングデータの不足という問題を解決します。これらの戦略により、EX-4Dは単一のビデオだけで全視点データを「推測」でき、データ収集コストを大幅に削減します。
**性能の向上：指標全体で上回る結果**
EX-4Dは性能テストで優れた結果を示しました。150本のネットワークビデオを含むデータセットに基づく評価で、EX-4Dは**FID（フレシェ距離）**、**FVD（フレシェビデオ距離）**、および**VBench**などの業界標準指標で、既存のオープンソース手法を全面的に上回りました。特に極端な視点（例えば90°に近い角度）での生成タスクでは、EX-4Dの性能上の優位性が顕著で、生成されたビデオは物体の細部と遮蔽論理においてより現実的です。
50人の参加者が行なった主観評価では、70.7％の参加者がEX-4Dが極端な視点での物理的整合性が他のオープンソース手法を大きく上回っていると感じました。これはEX-4Dが技術指標だけでなく、実際の応用でもユーザーから高い評価を受けていることを示しています。
ビットテンはEX-4Dを完全にオープンソース化しており、コードと関連ドキュメントはGitHubで公開されており、グローバルな開発者に無料でアクセス可能です。この取り組みは、ビットテンがオープンソースコミュニティへの貢献を示すものであり、没入型3D映画、仮想現実（VR）、拡張現実（AR）などの分野におけるイノベーションの基盤となります。
EX-4Dは、事前に訓練されたWAN-2.1モデルを基盤とし、**LoRAベースのアダプター**構造を組み合わせることで、計算効率を維持しながらDW-Meshの幾何学的な事前知識を取り入れ、生成されるビデオの幾何学的一貫性とフレーム間の連続性を確保しています。このような軽量設計により、EX-4Dはリソース制約のある環境でも効率的に動作でき、広範囲な開発シナリオに適しています。
EX-4Dのリリースは、「世界モデル」構築において重要な進展と見なされています。従来の単方向のビデオ生成モデルとは異なり、EX-4Dはユーザーがビデオコンテンツを自由に探索できるようにし、まるで「平行宇宙」の中で視点を切り替えるような体験を可能にします。このカメラ制御可能な4D生成技術は、没入型コンテンツ制作において無限の可能性を提供します。例えば、インタラクティブな3D映画、バーチャルツーリズム、ゲーム開発などが挙げられます。
ビットテンのPICO-MRチームの責任者は、EX-4Dはチームが3D再構築と4Dシーン生成分野で長年研究してきた成果であり、今後はモデルの性能を最適化し、より広範な応用場面を探求していくと語っています。AIbaseは、EX-4Dのオープンソース化がAIビデオ生成技術の普及を加速し、マルチモーダルAIがクリエイティブ産業に実装されることを促進すると考えています。
サイト：https://github.com/tau-yihouxiang/EX-4D