微軟Q-Sparse模型：8B參數性能直逼7B模型 訓練微調輕鬆搞定！

大型語言模型（LLMs）因出色的自然語言處理能力而聞名，但在實踐中，它們的推理階段面臨高計算成本和內存佔用的挑戰。爲了提高LLMs效率，研究人員引入了一項名爲 Q-Sparse 的技術。Q-Sparse 方法通過在激活中應用 top-K 稀疏化和直通估計器，實現了完全稀疏激活的狀態壓縮，顯著提升推理效率。研究發現，Q-Sparse 能在保持結果與 baseline LLMs相當的條件下，提高推理效率。這種方法適用於全精度和 1 位（如 BitNet b1.58）LLMs。 稀疏激活通過減少矩陣乘法和輸入/輸出傳輸量來提高效率。Q-Sparse 在每個線性投影中實現全激活稀疏化，通過 top-K 稀疏化函數實現與反向傳播中梯度計算的直通估計器相結合，進一步提高了激活稀疏性。採用平方 ReLU 函數提高激活稀疏性。 實驗結果揭示，隨着模型大小和稀疏比率的增加，稀疏激活模型的性能提高，這也適用於從頭開始訓練、已有的 LLMs 繼續訓練和微調。Q-Sparse 還被應用於包括 BitNet b1.58 和混合專家（MoE）在內的 LLMs，並探索兼容批量模式的優化以增加訓練和推理的靈活性。