歡迎來到【AI日報】欄目!這裏是你每天探索人工智能世界的指南,每天我們爲你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。新鮮AI產品點擊瞭解:https://top.aibase.com/1、數字人起飛!未來如何有效評估AI性能將成爲重要挑戰。
還記得月初剛發佈時就讓大家驚豔不已的字節新項目Loopy嗎?這個讓數字人聲音完美匹配畫面還匹配表情和情緒的對口型項目已經正式在即夢上線了。AIbase體驗了一下,效果非常不錯,可以說是目前支持中文效果最好的對口型服務了。以往,對口型視頻往往存在一個通病,那就是看似嘴型對上了,但總感覺這個聲音不是他發出來的,以至於大家看對口型視頻的時候,會有一種割裂感。字節跳動和浙江大學的科研團隊聯合開發的基於音頻驅動的視頻擴散模型LOOPY完美解決了這個問題。不同於以
LOOPY技術,由字節跳動與浙江大學聯合研發,是一種基於音頻驅動的視頻擴散模型,旨在解決虛擬形象生成時聲音與畫面割裂的問題。該技術僅需一幀圖像和音頻輸入,就能生成逼真、動態且符合音頻節奏與情感的虛擬形象動作,包括非語音動作、情緒驅動的眉毛和眼睛運動以及自然的頭部運動。LOOPY的核心是其獨特的長期運動信息捕捉模塊,支持多種視覺和音頻風格,爲虛擬形象的動態效果注入了前所未有的活力。該技術不僅在自然度上超越現有模型,在處理側面肖像時也表現出色,爲遊戲、電影製作、虛擬現實等領域提供了更高質量、高真實度的虛擬形象生成,極大提升了用戶體驗。LOOPY的靈活性和表現力,爲創作者提供了無限的想象空間,預示着虛擬形象技術發展的新標杆。
["Loopy 和玲娜貝兒成爲熱門二次創作 IP","小紅書博主使用 AI 繪畫生成了藍色的 Loopy","贊藏數過萬,評論超過 2000 條","Loopy 和玲娜貝兒的二次創作存在侵權風險","創作者應尊重版權和法律規定"]
Loopy,僅憑音頻驅動肖像頭像,實現逼真動態。