Meta最新黑科技SPIRIT-LM:能說會寫還能懂你的情緒,這個 AI 語言模型有點強!
Meta AI 最新推出的 SPIRIT-LM 是一款具有革命性意義的多模態基礎語言模型,它能夠自由混合文本和語音,並能像人類一樣理解和表達情感。SPIRIT-LM 基於預訓練的文本語言模型構建,通過在文本和語音單元上進行持續訓練,擴展到語音模態。該模型將語音和文本序列連接成一個單一的標記集,並使用一個小型自動管理的語音-文本平行語料庫,採用詞級交織方法進行訓練。SPIRIT-LM 有兩個版本:基礎版 (SPIRIT-LM-BASE) 使用語音語義單元。情感版 (SPIRIT-LM-EXPRESSIVE) 使用音調和風格單元來模擬情感