Llama3壓縮版！Nvidia推小型語言模型Llama-3.1-Minitron4B 僅4億參數

Nvidia研究團隊利用模型剪枝和蒸餾技術，成功推出Llama-3.1-Minitron4B，這是Llama3模型的壓縮版本，旨在實現設備上的人工智能。該模型通過深度剪枝和寬度剪枝技術，減少了原始8B模型的參數量，同時保持了與更大模型相近的性能。在訓練數據量大幅減少（40倍）的情況下，該模型在MMLU基準測試中的性能提升了16%。該成果通過NVIDIA的NeMo-Aligner進行微調，適用於指令跟隨、角色扮演、檢索增強生成（RAG）和函數調用等任務。寬度剪枝版本已發佈於Hugging Face平臺，支持商業使用，爲用戶和開發者提供高效、性能卓越的模型選擇。