シンガポール国立大学とバイトダンス社が共同で開発したMagicAnimateフレームワークにより、一枚の写真からTikTokダンス動画を生成できるようになりました。

最先端のビデオ拡散モデルと外観エンコーダを採用したMagicAnimateは、忠実度の高さに優れ、特に難易度の高いTikTokデータセットにおいて、ベースライン手法を38%以上上回る性能を示しました。

このフレームワークは既にオープンソース化されており、推論コードとオンラインデモが提供されています。