5月13日、昆仑万維グループはMatrix-Game大モデルを正式にオープンソースとして発表しました。これはインタラクティブなワールド生成に特化した先進的なモデルであり、インタラクティブなワールド生成技術の新たなブレークスルーを示しています。Matrix-GameはMatrixシリーズにおけるインタラクティブなワールド生成方向の正式な展開であり、産業界初の10B+空間知能大モデルです。オープンソース化により、高品質な生成と精密な制御が可能な環境での適用が可能となりました。この取り組みは、インタラクティブなワールド生成技術の限界を更新し、汎用的な仮想ワールド基盤の新基準を確立しました。
Matrix-Gameは三つの主要な部分で構成されています：Matrix-Game-MCデータセット、Matrix-Gameメインモデル、そしてGameWorld Score評価体系です。Matrix-Game-MCデータセットは、大規模なインタラクティブワールドデータセットであり、大量の無ラベルのMinecraftゲームビデオやキーボードとマウス操作信号付きのMinecraftおよびUnrealコントロール可能なビデオデータを含んでおり、詳細なアクション注釈が付いています。このデータセットは複雑な環境ダイナミクスとインタラクションパターンの効率的なモデリングと学習をサポートします。
Matrix-Gameメインモデルは先進的な拡散モデル技術に基づいており、ユーザー入力をもとに連続的でコントロール可能なインタラクティブビデオを生成します。視覚的な質、時系列の一貫性、物理的な妥当性など、さまざまな側面をバランスよく考慮しています。このモデルは、無ラベルデータの事前学習とラベル付きデータでの制御学習という二段階のトレーニング戦略を通じて、空間理解、ユーザー指示に対する応答、物理的な相互作用モデリングなどで顕著な向上を達成しました。Matrix-Gameは細粒度なユーザーアクション制御機能を持っており、前進、ジャンプ、攻撃、視点移動などの詳細な操作が可能です。操作体験は正確で自然です。また、生成結果は視覚的な一貫性を保ちながら、重力や衝突など自然な物理法則にも従います。これにより没入感が大幅に向上します。さらに、Matrix-Gameは異なる地形、天候、バイオームをカバーするマルチシナリオ汎化能力を持ち、非Minecraftゲーム環境への汎化可能性もあります。
インタラクティブワールド生成モデルのパフォーマンスをシステム的に評価・比較するために、Matrix-Gameは統合されたGameWorld Score評価体系を提案しました。この体系はビデオの視覚品質、時間的品質、動作の可制御性、物理ルール理解の四つの次元からモデルのパフォーマンスを包括的に定量評価し、この分野におけるシステム的評価基準の空白を埋めました。GameWorld Score評価システムにおいて、Matrix-Gameは視覚品質、時間的一貫性、動作の可制御性、物理ルール理解の四つの次元でトップの成績を収め、既存のオープンソースベースラインモデルであるOasisとMineWorldを全面的に上回りました。二重盲検実験では、ユーザーはMatrix-Gameが生成したビデオを選択する傾向が強く、インタラクティブワールド生成分野での優れたパフォーマンスを示しました。
プロジェクトホームページ:
https://matrix-game-homepage.github.io
技術レポート:
https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf
GitHubオープンソースアドレス:
https://github.com/SkyworkAI/Matrix-Game
HuggingFaceオープンソースアドレス:
https://huggingface.co/Skywork/Matrix-Game