阿里巴巴通义实验室与中国科学技术大学联合开源Fun-CineForge项目,针对影视配音中口型同步、音色迁移和情感表达等难题,提供端到端生产流水线和大模型解决方案,旨在解决传统AI配音口型不匹配、情感生硬及难以适应复杂场景的问题。
阿里通义实验室发布并开源了Fun-CineForge模型,旨在解决AI配音中的口型不同步、情感缺失及多角色音色不一致等问题。该模型创新引入“时间模态”概念,通过精准时间戳控制,确保语音与画面同步,并同步开放高质量数据集构建方法。
阿里通义实验室发布并开源全球首个支持影视级、多场景配音的多模态大模型Fun-CineForge,旨在突破AI配音在情感表达、环境音融合及口型同步等方面的技术瓶颈,推动影视行业配音环节的智能化变革。
通义实验室发布开源多模态大模型Fun-CineForge,旨在解决传统AI配音在影视动画中情绪表达和口型同步不足的问题。该模型突破声画脱节瓶颈,专注于实现合成语音与画面唇部运动的高度匹配,提升配音真实感。