テンセントARC研究所と香港城市大学が共同で、画期的な研究プロジェクト「AnimeGamer」を発表しました。この独自のツールは、無限のアニメ人生シミュレーションを実現し、次のゲームの状態を予測する強力な機能を備えています。つまり、ユーザーはこれまで以上に好きなアニメの世界に没頭し、オープンな自然言語コマンドを通じて、ゲーム内のダイナミックな環境とリアルタイムでインタラクトできるようになります。
アニメの主人公になりきり、無限のインタラクションを楽しむ
AnimeGamerの最も注目すべき特徴は、一貫性のある無限の長さのアニメーションビデオを生成し、キャラクターに体力や気分などのデータを設定できる点です。ユーザーは、『崖の上のポニョ』の宗介のような、クラシックなアニメのキャラクターを演じるだけでなく、簡単な音声コマンドで周囲の世界とインタラクトできます。
さらにエキサイティングなのは、AnimeGamerが次元を超えて、異なるアニメ作品からのキャラクターの夢のようなコラボレーションを実現できることです。
『魔女の宅急便』のキキと『天空の城ラピュタ』のパズーが出会い、キキがパズーに飛行技術を教える…そんなシーンがAnimeGamerでは実現可能です。このツールは強力な汎化能力を示しており、異なるアニメキャラクターやアクション間のインタラクションを理解し実行することで、ユーザーに無限の創造的な空間を提供します。
技術的ブレークスルー：マルチモーダル大規模言語モデルによる没入型体験
AnimeGamerがこれほど強力な機能を実現できるのは、高度なマルチモーダル大規模言語モデル（MLLMs）を採用しているためです。このモデルは、生き生きとしたキャラクターアニメーションやキャラクターの各種数値の更新など、各フレームのゲーム状態を生成します。
AnimeGamerのトレーニングプロセスは3つの重要な段階に分かれています。まず、アクション情報を含むマルチモーダルデータをエンコーダーでモデル化し、拡散モデルに基づくデコーダーをトレーニングしてビデオを再構築します。同時に、アクションの強度を表すモーションレンジ情報も入力されます。次に、ユーザーの履歴コマンドと現在のゲーム状態を入力として、次のゲーム状態の様々な表現を予測するMLLMをトレーニングします。最後に、最適化段階で、MLLMの予測結果を使用してデコーダーを微調整し、生成されるアニメーションの品質をさらに向上させます。
AnimeGamerの登場は、アニメ文化愛好家と人工知能研究分野に新たな活力を注ぎ込みました。自然言語インタラクションによって駆動される無限のアニメ人生シミュレーションと未来のゲーム状態の予測などのコア機能は、マルチモーダル大規模言語モデルがクリエイティブなコンテンツ生成において持つ巨大な可能性を十分に示しています。より多くの機能が追加され改善されるにつれて、AnimeGamerは無限の可能性と驚きで満ちた、新しいアニメインタラクションプラットフォームになることが期待されます。
プロジェクト入口:https://top.aibase.com/tool/animegamer
