阿里巴巴通義實驗室與中國科學技術大學聯合開源Fun-CineForge項目,針對影視配音中口型同步、音色遷移和情感表達等難題,提供端到端生產流水線和大模型解決方案,旨在解決傳統AI配音口型不匹配、情感生硬及難以適應複雜場景的問題。
阿里通義實驗室發佈並開源了Fun-CineForge模型,旨在解決AI配音中的口型不同步、情感缺失及多角色音色不一致等問題。該模型創新引入“時間模態”概念,通過精準時間戳控制,確保語音與畫面同步,並同步開放高質量數據集構建方法。
阿里通義實驗室發佈並開源全球首個支持影視級、多場景配音的多模態大模型Fun-CineForge,旨在突破AI配音在情感表達、環境音融合及口型同步等方面的技術瓶頸,推動影視行業配音環節的智能化變革。
通義實驗室發佈開源多模態大模型Fun-CineForge,旨在解決傳統AI配音在影視動畫中情緒表達和口型同步不足的問題。該模型突破聲畫脫節瓶頸,專注於實現合成語音與畫面脣部運動的高度匹配,提升配音真實感。