昆仑万維グループは、最新の技術成果であるSkyReels-A3モデルを発表しました。これはDiT（Diffusion Transformer）ビデオ拡散モデルに基づいた音声駆動のデジタル人間制作ツールです。SkyReels-A3のリリースは、デジタルコンテンツ制作分野における大きな進歩を示しており、任意の長さのマルチモーダル音声駆動のデジタル人間制作が可能になります。ユーザーに新しい体験を提供します。
SkyReels-A3モデルのコア機能は、静止画や動画を「生きている」ようにすることです。人物の画像とそれに応じた音声をアップロードすることで、画像の中の人間が音声の内容に合わせて喋ったり歌ったりすることができます。さらに、このモデルは新しい動画コンテンツの作成もサポートしています。ユーザーは人物の画像、音声、およびテキストの指示を提供するだけで、要求された状態でパフォーマンスを行う動画を作成できます。SkyReels-A3は既存の動画に対して「台詞の変更」にも対応し、新しい口元や表情、パフォーマンスを自動的にマッチングし、画面の一貫性を保つことができます。
このモデルは、テキストプロンプトの入力、動作の自然な相互作用、カメラワークの制御、およびビデオ出力の長さなどの点で最適化と向上が行われています。SkyReels-A3は60秒までの単一のカットの動画出力をサポートし、複数のカットでは無限の長さに対応し、さまざまな創作ニーズに応えます。クンロン・ワンウェイはオンラインライブ配信などの実際的なアプリケーションケースを特定して最適化し、ビデオ生成の一貫性と特定の相互作用動作の自然さと明確さを向上させました。
SkyReels-A3のリリースにより、広告やライブショッピングなどの商業用途には強力な技術的支援が提供され、ミュージックMV、映画のシーンまたはスピーチ動画などの芸術的な創作にはより多くの可能性が生まれます。クンロン・ワンウェイはControlNet構造に基づくカメラワーク制御モジュールを導入し、フレームレベルでの正確なカメラワーク制御を実現しました。8つの一般的なカメラワークパラメータが事前に設定されており、ユーザーは必要に応じて適切なカメラワークを選択でき、各カメラワークの強度は0〜100％まで連続調整可能で、プロフェッショナルなカメラワーク効果を生成できます。
SkyReels-A3モデルのリリースにより、デジタルコンテンツ制作がより効率的かつ使いやすくなることが予想されます。クンロン・ワンウェイグループはこの革新技術を通じて、映画制作、仮想ライブ配信、ゲーム開発、教育コンテンツ制作など、さまざまな分野に低コストで高精度なAI製作品を提供しています。SkyReels-A3のリリースは、音声が映像になる可能性を示しており、個人向けやインタラクティブなコンテンツ制作においてこれまでない効率と利便性を提供します。おそらく次のトレンドを牽引するヒット動画は、あなたのインスピレーションから生まれるかもしれません。
SkyReels-A3プロジェクトページ:
https://skyworkai.github.io/skyreels-a3.github.io/
SkyReels公式サイト:
https://www.skyreels.ai/home
SkyReelsシリーズオープンソースモデル:
https://huggingface.co/Skywork
