可在手機運行!Hugging Face推小語言模型SmolLM 低參數表現優秀
Hugging Face新發布SmolLM, 一款小型高效AI工具。其特點是參數範圍從135M到1.7B,旨在適應各種設備,如手機和筆記本電腦。SmolLM因其小巧、性能強和低資源需求而獨特,其設計旨在保護用戶隱私。基於精心挑選的SmolLM-Corpus數據集,模型在教育和合成數據上展現出色學習能力。
SmolLM系列包括三種模型版本:135M、360M和1.7B參數,均能夠執行多種任務,並能根據硬件配置靈活運行。尤其值得一提的是,儘管數據訓練量更小,SmolLM-135M仍顯著超越同類產品,成爲參數小於200M的領導者。在關鍵基準測試中,SmolLM展現出在各自尺寸類別中優秀的性能,尤其是其在常識推理和世界知識理解上的性能,遠超其他同類模型。通過特別調教,SmolLM在理解指令和問題解答上表現出彩。此外,Hugging Face提供了WebGPU演示,方便用戶直接體驗模型能力。這一發布證明了即使在資源受限的情況下,高質量的訓練數據也能生成驚人的表現。