Zyphra推小語言模型Zamba2-2.7B: 速度提高一倍,內存成本降低27%
Zyphra公司推出了Zamba2-2.7B語言模型,這一模型在小型語言模型領域具有里程碑意義。其性能和效率顯著提升,訓練數據集規模達到約3萬億個標記,使其在推理時資源需求降低,成爲移動設備應用的高效解決方案。關鍵亮點包括首次生成響應時間提升兩倍,內存使用減少27%,生成延遲降低1.29倍,特別適合需要實時互動的虛擬助手、聊天機器人等應用。Zamba2-2.7B在與同類模型的基準比較中表現出色,採用改進的交錯共享注意力機制和LoRA投影器優化性能,確保了在複雜任務處理中的高效能輸出。