Meta AI 发布 MobileLLM-R1:轻量级边缘推理模型,参数不足 10 亿,性能提升显著
Meta AI 近日推出了 MobileLLM-R1,这是一系列轻量级边缘推理模型,目前已在 Hugging Face 上发布。该系列模型参数范围从140M 到950M,专注于高效的数学、编码和科学推理,且在不足10亿的参数规模下实现了优秀的性能表现。MobileLLM-R1的最大模型为 MobileLLM-R1-950M,采用了一系列架构优化设计:包括22层 Transformer 结构、24个注意力头和6个分组 KV 头。模型的嵌入维度为1536,隐藏层维度为6144。此外,模型还采用了分组查询注意力(GQA)来减少计算和内存需求,块级权重共享技术降低了参数数量而不显著