最近、B 站（ビリビリ）のチームは5月12日、アニメーションビデオ生成モデルである「AniSora」を正式にオープンソース化しました。この新しいツールにより、ユーザーはワンクリックで多様なアニメスタイルのビデオクリップを作成でき、シリーズ作品、中国オリジナルアニメ、漫画アレンジ、VTuber コンテンツ、アニメプロモーションビデオ、鬼畜アニメなどさまざまなタイプが含まれます。
B 站のチームは指摘していますが、現在市場には Sora、Kling、CogVideoX などの自然なビデオ生成モデルがありますが、アニメーションビデオ分野では既存技術にまだ不足があります。アニメーションは独特な芸術スタイル、誇張された動き、現実の物理法則を突破する特徴を持っており、ビデオ生成には大きな挑戦を与えています。そのため、AniSora の登場により、この分野の空白を埋めることができます。
AniSora プロジェクトには一連のシステムが含まれており、主に以下の部分で構成されています。まず、データ処理パイプラインがあり、このモデルの訓練に1000万以上の高品質なデータを使用しています。次に、AniSora は制御可能な生成モデルを導入し、時間空間マスクモジュールを追加し、画像からビデオ生成、フレーム補間、局所的な画像誘導など、複数の重要なアニメーション制作機能をサポートします。最後に、チームは948本の多様なアニメーションビデオを集め、評価用データセットを構築し、ダブルブラインド実験とVBenchテストを行い、人物の一致性と動きの一致性が現在の最高基準（SOTA）に達していることが確認されました。
一般の人々が AniSora の強力な機能をよりよく理解できるように、B 站は生成されたビデオのサンプルもいくつか共有しました。例えば、あるビデオでは、キャラクターが走る車に乗って風になびく髪が自然な動きを表現しています。別のビデオでは、赤いウェディングドレスを着た二人がゆっくりと遠くへ歩いていく姿が描かれています。さらに、別のシーンでは、金髪のキャラクターが跪いている人物に手を伸ばすことで繊細な感情表現を見せています。
AniSora のオープンソースのアドレスはGitHubや他のプラットフォームで公開されており、興味のある開発者やアニメーションファンはアクセスして利用することができます。この技術の登場により、今後私たちはアニメコンテンツの創作や視聴において、より多くの革新と驚きを体験できるかもしれません。