Stream-Omni：同時支持各種模態組合交互,開啓文本、視覺、語音結合

中科院計算所推出Stream-Omni多模態大模型，支持文本、視覺、語音三種模態交互。創新採用針對性模態對齊技術，減少對大規模三模態數據的依賴，實現語音與文本的實時轉換。模型支持任意模態組合，在視覺理解和語音交互方面表現優異，雖在擬人化方面有待改進，但爲多模態智能交互提供了新思路。相關論文和代碼已開源。