Meta發佈超輕量Llama模型 在手機 AI 競賽中擊敗谷歌和蘋果

Meta Platforms今日發佈其Llama模型的全新精簡版本，包括Llama3.21B和3B兩款產品，首次實現了大規模語言模型在普通智能手機和平板電腦上的穩定運行。通過創新性地整合量化訓練技術與優化算法，新版本在保持原有處理質量的同時，將文件體積縮減56%，運行內存需求降低41%，處理速度更是提升至原版4倍，單次可連續處理8，000字符文本。在 Android 手機上進行測試時，Meta 的壓縮 AI 模型（SpinQuant 和 QLoRA）與標準版本相比，速度和效率都有顯著提升。較小的模型運行速度提高了四倍，而內存佔用卻