人工智能初创公司Liquid AI发布并开源了端侧大模型LFM2.5-8B-A1B,专为消费级硬件设计,优化工具调用和指令遵循能力。该模型采用稀疏混合专家架构,总参数量8.3B,但每个Token仅激活1.5B参数,在降低计算成本的同时提升推理性能,可流畅运行于手机和笔记本电脑上。
阶跃星辰开源Step3.5Flash模型全链路,包括预训练、中训练权重及训练框架。该模型专为智能体设计,采用稀疏MoE架构,总参数量1960亿,推理时仅激活约110亿参数,能效比高,单请求代码任务推理速度最高达350TP。
YuanLab.ai发布开源多模态大模型Yuan3.0Flash,参数规模达40B,采用稀疏混合专家架构,推理时仅激活约3.7B参数,显著提升效率。模型提供16bit与4bit权重、技术报告及训练方法,支持二次开发和行业定制,推动AI技术普及。
小米发布开源大模型MiMo-V2-Flash,主打高速高效,在推理、代码生成等任务中表现突出,响应速度超越多款热门国产模型。该模型采用稀疏激活架构,参数量达3090亿,以MIT协议开源权重与代码。
Alibaba
$4
Input tokens/M
$16
Output tokens/M
1k
Context Length
$2
-
256
Moonshot
Bytedance
$0.8
128
Openai
$0.4
$0.75
64
$1
Tencent
24
Chatglm
$8
32
$0.5
224
$12
28
$6
$18
Baidu
$3
$9
Minimax
$5
$20
inclusionAI
Ming-flash-omni 预览版是基于 Ling-Flash-2.0 稀疏专家混合(MoE)架构构建的多模态大模型,总参数达100B,每个token仅激活6B参数。该模型在Ming-Omni基础上进行了全面升级,在多模态理解和生成方面有显著提升,特别是在语音识别、图像生成和分割编辑方面表现突出。
radicalnumerics
RND1是一个实验性的扩散语言模型,拥有300亿参数,采用稀疏专家混合架构。该模型从预训练的自回归基础模型转换而来,支持基于扩散的文本生成,每个标记仅激活30亿参数,在计算效率和模型容量之间取得平衡。
cpatonn
Qwen3-Next-80B-A3B-Instruct是通义千问团队开发的高效稀疏混合专家模型,总参数量80B,激活参数量仅3B。该模型采用创新的混合注意力机制和极低激活率的MoE架构,在保持强大性能的同时大幅提升推理效率,原生支持262K上下文长度并可扩展至1M令牌。
unsloth
Qwen3-Next-80B-A3B-Instruct是阿里巴巴通义千问团队开发的最新一代大型语言模型,采用创新的混合注意力机制和高稀疏专家混合架构,在保持80B总参数的同时仅激活3B参数,实现了高效的上下文建模和推理加速,原生支持262K上下文长度并可扩展至1M令牌。
LanguageBind
MoE-LLaVA是一种基于专家混合架构的大型视觉语言模型,通过稀疏激活参数实现高效的多模态学习
MoE-LLaVA是一种基于专家混合架构的大规模视觉语言模型,通过稀疏激活参数实现高效的多模态学习。