清华大学存储实验室与腾讯混元AI Infra团队在MLSys2026 MoE模型推理优化挑战赛中获全球冠军。针对万亿参数混合专家(MoE)架构在异构NPU上的推理瓶颈,联合团队设计了全链路优化方案,包括E-Shard策略、PSUM三维张量批量读出及GEMV路径,显著提升性能。
OpenAI发布Privacy Filter模型,旨在帮助开发者脱敏文本中的个人身份信息(PII)。该模型参数规模1.5亿,采用混合专家(MoE)设计,以Apache 2.0协议在Hugging Face和GitHub开源。其核心优势在于深度语言理解能力,能通过上下文识别非结构化文本中的敏感信息,超越传统基于规则的方法。
阶跃星辰开源Step3.5Flash模型全链路,包括预训练、中训练权重及训练框架。该模型专为智能体设计,采用稀疏MoE架构,总参数量1960亿,推理时仅激活约110亿参数,能效比高,单请求代码任务推理速度最高达350TP。
小米新任大模型负责人罗福莉在2025小米生态大会上,正式发布全新MoE大模型MiMo-V2-Flash。该模型采用Hybrid SWA架构,设计简洁优雅,在长上下文推理方面表现突出,标志着小米向人工通用智能(AGI)目标迈出重要一步。
Xai
$1.4
Input tokens/M
$3.5
Output tokens/M
2k
Context Length
Openai
-
Google
$0.7
$2.8
1k
Alibaba
$4
$16
$2
$20
256
Moonshot
Bytedance
$0.8
128
Baidu
32
$10.5
Tencent
$1
Deepseek
$12
$0.4
$0.75
$8.75
$70
400
64
Wan-AI
Wan2.2-S2V-14B是一个专为音频驱动的电影级视频生成而设计的混合专家(MoE)模型。它能够根据输入的音频、参考图像和文本提示生成高质量的视频内容,支持480P和720P分辨率,并具备复杂运动生成和电影级美学效果。
RedHatAI
Llama-4-Scout是Meta推出的Llama 4系列模型之一,采用混合专家(MoE)架构,是原生多模态AI模型,支持文本和图像输入,在多语言文本理解和视觉任务方面表现出色。该模型具有17B参数,16个专家,专为商业和研究用途设计。
axolotl-quants
羊驼4 Scout是Meta发布的170亿参数混合专家模型(MoE),支持多语言文本和图像理解,采用线性化专家模块设计便于PEFT/LoRA兼容。
dddump
这是一个专门为Mergekit - MoE测试设计的文本生成模型,仅限个人使用。
Snowflake
雪花北极是由雪花AI研究团队开发的密集混合专家(MoE)架构大语言模型,具有4800亿参数,专为高效文本和代码生成设计。
openbmb
MiniCPM-MoE-8x2B是一款基于Transformer架构的混合专家(MoE)语言模型,采用8个专家模块设计,每个token激活2个专家进行处理。