昆仑万维正式发布SkyReels-A3模型:照片可根据语音对口型
昆仑万维集团宣布推出其最新技术成果SkyReels-A3模型,这是一款基于DiT(Diffusion Transformer)视频扩散模型的音频驱动数字人创作工具。SkyReels-A3的发布标志着数字内容创作领域的一大进步,它能够实现任意时长的全模态音频驱动数字人创作,为用户带来全新的体验。
SkyReels-A3模型的核心功能是让静态图像或视频“活”起来,通过上传人像图片和相应的语音,即可使图片中的人物按照语音内容开口说话或唱歌。此外,该模型还支持创作新的视频内容,用户只需提供人像图片、语音和文字提示,即可生成按照要求状态进行表演的视频。SkyReels-A3还能够为现有视频“改台词”,自动匹配新的口型、表情和表演,保持画面连贯。