近日，Hugging Face正式推出全新开源语言模型 SmolLM3，一款拥有3B参数的轻量级大语言模型（LLM），以其卓越性能和高效设计引发行业广泛关注。SmolLM3不仅在多项基准测试中超越同级别的Llama-3.2-3B和Qwen2.5-3B，甚至与更大规模的4B参数模型Gemma3性能相当。
地址：https://huggingface.co/blog/smollm3
3B参数，性能直逼4B模型
SmolLM3是一款3B参数的解码器专用Transformer模型，采用分组查询注意力（GQA）和NoPE技术优化，兼顾高效推理和长上下文处理能力。模型在11.2万亿token的多样化数据集上进行预训练，涵盖网页、代码、数学和推理数据，确保其在知识、推理、数学和编码等领域的强大表现。根据官方披露，SmolLM3在HellaSwag、ARC、BoolQ等知识与推理基准测试中名列前茅，与4B参数模型如Qwen3-4B和Gemma3-4B相比毫不逊色，展现了小模型的惊人潜力。
双模式推理，灵活应对多样任务
SmolLM3引入了独特的双模式推理功能，支持“思考”（think）和“非思考”(no-think)两种模式。在开启思考模式后，模型在复杂任务如AIME2025(36.7% vs9.3%)、LiveCodeBench(30.0% vs15.2%)和GPQA Diamond(41.7% vs35.7%)等测试中表现出显著提升。这种灵活的推理模式使其能够根据任务需求动态调整，兼顾速度与深度推理，满足从快速问答到复杂问题求解的多种场景。
支持128K上下文，六种语言无缝切换
SmolLM3在长上下文处理上表现卓越，训练时支持64K上下文，并通过YaRN技术可扩展至128K token，在Ruler64k测试中展现了强大的长序列处理能力。此外，模型原生支持六种语言（英语、法语、西班牙语、德语、意大利语、葡萄牙语），并在阿拉伯语、汉语和俄语上进行了少量训练，展现出多语言任务的优异性能。在Global MMLU、Flores-200等测试中，SmolLM3的多语言能力位居同级别模型前列，为全球化应用场景提供了可靠支持。
完全开源，赋能开发者生态
Hugging Face一贯秉持开源精神，SmolLM3不仅公开了模型权重，还完整开源了训练数据混合、训练配置和代码，开发者可通过Hugging Face的smollm存储库获取详细资料。这种透明的“训练蓝图”极大降低了学术研究和商业应用的门槛，允许开发者基于公开数据集和框架复现或优化模型。AIbase认为，这一举措将进一步推动开源AI生态的繁荣，为边缘设备部署和定制化应用提供更多可能性。
高效设计，边缘设备新选择
SmolLM3专为高效推理设计，采用分组查询注意力机制显著减少推理时的KV缓存占用，结合WebGPU支持，使其非常适合在浏览器或边缘设备上运行。相较于更大规模的模型，SmolLM3在性能与计算成本之间找到“帕累托最优”平衡点，为教育、编码、客户支持等场景提供了高性价比的解决方案。
行业影响与未来展望
SmolLM3的发布标志着小规模语言模型在性能与效率上的重大突破。其开源特性、长上下文支持和多语言能力使其成为学术研究、初创公司和中小型企业的理想选择。AIbase预计，SmolLM3将在教育、客户服务和本地化部署等领域掀起应用热潮，同时其完全开源的训练流程也将激励更多开发者参与到AI模型的优化与创新中。
SmolLM3以3B参数实现媲美4B模型的性能，展现了小模型在高效AI领域的无限潜力。Hugging Face通过开源训练细节和数据，为行业树立了透明与协作的典范。我们期待SmolLM3在更多实际场景中的应用表现，并将持续关注其后续更新。
结语
SmolLM3的推出不仅证明了“小型模型，大能量”的可能性，也为开源AI社区注入了新的活力。无论是开发者还是企业用户，这款高效、多功能的模型都值得一试。