崑崙萬維正式發佈SkyReels-A3模型:照片可根據語音對口型
崑崙萬維集團宣佈推出其最新技術成果SkyReels-A3模型,這是一款基於DiT(Diffusion Transformer)視頻擴散模型的音頻驅動數字人創作工具。SkyReels-A3的發佈標誌着數字內容創作領域的一大進步,它能夠實現任意時長的全模態音頻驅動數字人創作,爲用戶帶來全新的體驗。
SkyReels-A3模型的核心功能是讓靜態圖像或視頻“活”起來,通過上傳人像圖片和相應的語音,即可使圖片中的人物按照語音內容開口說話或唱歌。此外,該模型還支持創作新的視頻內容,用戶只需提供人像圖片、語音和文字提示,即可生成按照要求狀態進行表演的視頻。SkyReels-A3還能夠爲現有視頻“改臺詞”,自動匹配新的口型、表情和表演,保持畫面連貫。