最近、字節跳動は革新的なAIビデオ生成モデル「Seaweed APT2」を発表しました。リアルタイムのビデオストリーム生成、インタラクティブなカメラ制御、および仮想ヒューマン生成における技術的な進展により、業界で大きな議論を引き起こしています。このモデルは効率的なパフォーマンスと革新的なインタラクティブな特性により、「ホロデッキ（全息メガデッキ）への重要な一歩」として称賛されています。

Seaweed APT2：リアルタイムビデオ生成の新基準

Seaweed APT2は、字節跳動のSeedチームが開発した8億パラメータを持つ生成型AIモデルで、リアルタイムインタラクティブビデオ生成に特化しています。従来のビデオ生成モデルとは異なり、Seaweed APT2は自己回帰的対抗後学習（AAPT）技術を使用し、単一のネットワーク前方評価（1NFE）で4フレーム分の潜在空間フレームを生成します。これにより計算複雑性を大幅に低減しました。

QQ20250616-145141.jpg

このモデルは、単一のNVIDIA H100 GPU上で24フレーム/秒、解像度736×416でリアルタイムビデオストリーム生成が可能です。また、8つのH100 GPUを使用すれば、解像度1280×720の高画質出力が可能です。このような高い効率性により、インタラクティブな応用分野での可能性を広げています。

主要機能：没入型インタラクティブ体験の実現

Seaweed APT2の革新的な点はその強力なリアルタイムインタラクティブ能力にあります。その主な特徴は以下の通りです:

  • リアルタイム3Dワールドエクスペディション：ユーザーはカメラの視点（パン、チルト、ズーム、前後移動など）を操作することで生成された3D仮想ワールドを自由に探検できます。没入型の体験を提供します。
  • インタラクティブ仮想ヒューマン生成：リアルタイムで仮想キャラクターのポーズや動きを生成・制御でき、バーチャルブロードキャスター、ゲームキャラクターなどのシナリオに適応します。
  • 高フレームレートビデオストリーム：単一のH100 GPU上で、解像度640×480で24フレーム/秒の滑らかなビデオ生成が可能です。8つのGPUを使用すれば、より高解像度の720p出力をサポートします。
  • インプットリカバリー機構：各フレームを再度入力として使用することで、長時間のビデオにおいて動作の一貫性を確保し、従来のモデルで見られる動作の途切れを防ぎます。
  • 効率的な計算：単一の前方評価で4フレーム分のコンテンツを生成し、キー値キャッシュ（KVキャッシュ）技術と組み合わせて長時間のビデオ生成をサポートします。計算効率は既存のモデルを大きく上回ります。
  • 無限シナリオシミュレーション：潜在空間にノイズを導入することで、ダイナミックなリアルタイムシーンを生成し、「無限の可能性」を示します。

技術的ブレークスルー：自己回帰的対抗学習の革新

Seaweed APT2は従来の拡散モデルの多ステップ推論方式を廃し、自己回帰的対抗後学習（AAPT）技術を採用しています。これは事前に訓練された双方向拡散モデルを単方向自己回帰ジェネレーターに変換する方法です。この方法では、ビデオのリアリズムと長期的な時間一貫性を改善するための敵対的目標最適化を行います。これにより、従来のモデルでよく見られる長時間ビデオ生成時の動作の漂移や物体の変形の問題を解決しました。

さらに、モデルは「画像からビデオ（I2V）」シナリオでも優れたパフォーマンスを発揮します。ユーザーが初期フレームを提供するだけで、連続したビデオコンテンツを生成できます。これにより、バーチャルリアリティ（VR）、ゲーム開発、リアルタイムコンテンツクリエイションなどのインタラクティブなアプリケーションに最適です。

適用例：バーチャルブロードキャスターから没入型物語まで

Seaweed APT2のリアルタイム性とインタラクティビティにより、その応用範囲は非常に広いです:

  • バーチャルブロードキャスターやキャラクターアニメーション：リアルタイムのポーズコントロールと動き生成により、Seaweed APT2はバーチャルブロードキャスターやゲームキャラクターにスムーズで自然なアニメーション効果を提供します。従来のLive2Dや3Dモデリングのコストを削減します。
  • インタラクティブフィルムと教育：マルチショットの物語や動的なシーン生成をサポートし、インタラクティブなショートフィルムや没入型教育コンテンツに適応します。
  • 仮想リアリティとゲーム：3Dカメラコントロールとシーンの一貫性最適化により、Seaweed APT2はVRやゲーム開発にリアルタイム生成されたダイナミックなワールドを提供し、「スタートレックのホロデッキ」に近い体験を提供します。
  • 電子商取引と広告：製品デモビデオや仮想キャラクター広告の迅速な生成により、コンテンツ制作の効率を向上させます。

課題と展望：AIビデオの新しい未来へ

Seaweed APT2は技術的に大きなブレークスルーを遂げていますが、いくつかの課題も抱えています。例えば、現在のモデルは人間の好みとのアラインメントやさらなる微調整が行われていません。そのため、リアリズムや詳細表現の向上にはまだ余地があります。また、リアルタイムで高解像度ビデオを生成するにはハードウェア要件が高く、一部のユーザーにとってアクセスコストが制限される可能性があります。

AIBaseは、Seaweed APT2のリリースがAIビデオ生成分野において静的な創作から動的なインタラクティブな変革を促進したと分析しています。字節跳動は将来、さらなる技術的な詳細やソースコードを公開する予定であり、これによりコミュニティのイノベーションがさらに加速されます。技術の継続的な改良により、Seaweed APT2は仮想コンテンツ制作の「インフラ」として活躍し、映画、ゲーム、メタバースなど各分野に革命的な変革をもたらすことが期待されます。

業界への影響：AIビデオエコシステムの再構築

OpenAIのSoraやGoogleのVeoと比較すると、Seaweed APT2はパラメータ規模と計算コストを低く抑えながら、同等またはそれ以上のパフォーマンスを達成しています。「小さな力で大きな成果を得る」戦略により、技術的な障壁を下げ、中小規模のチームや個人クリエイターにも高性能なビデオ生成ツールを提供しています。AIBaseの観測によると、業界全体でSeaweed APT2に対する関心が急速に高まっており、ソーシャルメディアでのデモビデオが多くの議論を引き起こし、単一フレームから長編叙事まで卓越した生成能力を示しています。

結論

字節跳動のSeaweed APT2は、リアルタイムインタラクション、3Dワールドエクスペディション、高フレームレートビデオ生成という革新的な機能により、AIビデオ生成分野に新たな基準を樹立しました。仮想ヒューマンから没入型物語まで、このモデルはコンテンツ制作の可能性を再定義しています。