清华大学存储实验室与腾讯混元AI Infra团队在MLSys2026 MoE模型推理优化挑战赛中获全球冠军。针对万亿参数混合专家(MoE)架构在异构NPU上的推理瓶颈,联合团队设计了全链路优化方案,包括E-Shard策略、PSUM三维张量批量读出及GEMV路径,显著提升性能。
近日,开源项目BrowserUse发布自研大语言模型BU-30B-A3B-Preview,被誉为网页代理领域新标杆。该模型采用混合专家(MoE)架构,总参数达300亿,但推理时仅激活部分参数,兼顾强大性能与轻量化运行,显著降低了AI浏览器操作的成本与门槛。
腾讯自研大模型混元2.0(Tencent HY2.0)正式发布,与此同时,DeepSeek V3.2也逐步接入腾讯生态。目前,这两大模型已在元宝、ima等腾讯AI原生应用中率先上线,腾讯云也同步开放了相关模型的API及平台服务。 全新发布的Tencent HY2.0采用混合专家(MoE)架构,总参数量高达4
美团发布开源大语言模型LongCat(龙猫),推动AI技术发展。该模型采用创新的混合专家(MoE)架构,核心版本LongCat-Flash拥有560亿参数,通过动态计算机制,仅激活18.6B至31.3B参数,提升效率。为开发者和研究人员提供强大新工具。
Alibaba
$4
Input tokens/M
$16
Output tokens/M
1k
Context Length
$2
$20
-
256
Moonshot
Bytedance
$0.8
128
Xai
$1.4
$10.5
Tencent
$1
32
Deepseek
$12
Openai
$0.4
$0.75
64
$0.63
$3.15
131
24
Chatglm
$8
ai-sage
GigaChat3-10B-A1.8B 是 GigaChat 系列的高效对话模型,基于混合专家(MoE)架构,拥有 100 亿总参数和 18 亿活跃参数。它采用了创新的多头潜在注意力(MLA)和多令牌预测(MTP)技术,旨在优化推理吞吐量和生成速度。模型在 20T 令牌的多样化数据上训练,支持包括中文在内的 10 种语言,适用于需要快速响应的对话场景。
GigaChat3-10B-A1.8B是GigaChat系列的对话模型,基于混合专家(MoE)架构,共有100亿参数,其中18亿为活跃参数。该模型采用多头潜在注意力和多令牌预测技术,支持25.6万令牌的长上下文,在多语言对话和推理任务中表现出色。
GigaChat3-10B-A1.8B-base是GigaChat系列的基础预训练模型,采用混合专家(MoE)架构,总参数100亿,活跃参数18亿。模型集成了多头潜在注意力(MLA)和多令牌预测(MTP)技术,在推理时具备高吞吐量优势。
bartowski
这是一个基于REAP方法对MiniMax-M2中40%专家进行均匀剪枝得到的139B参数大语言模型,采用GLM架构和专家混合(MoE)技术,通过llama.cpp进行多种量化处理,适用于文本生成任务。
Kiy-K
Fyodor-StarCoder2-7B-MoE是基于StarCoder2-7B的增强版本,采用混合专家架构,拥有3个MoE层、6个专家网络和top-2路由机制,在代码生成、函数调用和智能体任务方面表现优异。
NyxKrage
Moondream 3 Preview HF是基于HuggingFace Transformers架构规范对Moondream 3 (Preview)模型的重新实现,使其能够与Hugging Face生态系统完全兼容。这是一个多模态视觉语言模型,采用专家混合(MoE)文本主干,约90亿参数,20亿活跃参数。
Qwen
Qwen3-VL是通义系列最强大的视觉语言模型,采用混合专家模型架构(MoE),提供GGUF格式权重,支持在CPU、GPU等设备上进行高效推理。模型在文本理解、视觉感知、空间理解、视频处理等方面全面升级。
unsloth
Qwen3-VL是迄今为止Qwen系列中最强大的视觉语言模型,在文本理解与生成、视觉感知与推理、上下文长度、空间和视频动态理解以及智能体交互能力等方面都进行了全面升级。该模型采用混合专家(MoE)架构,提供卓越的多模态处理能力。
Qwen3-VL是通义大模型系列中最强大的视觉语言模型,具备卓越的文本理解与生成能力、深入的视觉感知与推理能力、长上下文支持、强大的空间和视频动态理解能力以及出色的智能体交互能力。该模型采用混合专家(MoE)架构,是增强推理的思维版。
inclusionAI
Ming-flash-omni 预览版是基于 Ling-Flash-2.0 稀疏专家混合(MoE)架构构建的多模态大模型,总参数达100B,每个token仅激活6B参数。该模型在Ming-Omni基础上进行了全面升级,在多模态理解和生成方面有显著提升,特别是在语音识别、图像生成和分割编辑方面表现突出。
mlx-community
LFM2-8B-A1B是针对苹果硅芯片优化的8位量化MLX构建版本,采用专家混合(MoE)架构,总参数约80亿,每个令牌激活约10亿参数,支持设备端快速推理。
nvidia
NVIDIA GPT-OSS-120B Eagle3是基于OpenAI gpt-oss-120b模型的优化版本,采用混合专家(MoE)架构,具备1200亿总参数和50亿激活参数。该模型支持商业和非商业使用,适用于文本生成任务,特别适合AI Agent系统、聊天机器人等应用开发。
rand0nmr
Wan2.2是基础视频模型的重大升级版本,引入了混合专家(MoE)架构、融入精心策划的美学数据、在更大数据上训练以提升复杂运动生成能力。该模型支持生成480P和720P分辨率的5秒视频,在视频生成质量和性能上有显著提升。
IBM Granite-4.0-H-Tiny模型的5-bit量化版本,专为苹果硅芯片优化。采用Mamba-2与软注意力混合架构,结合混合专家模型(MoE),在保持高质量的同时实现高效推理。
cpatonn
Qwen3-Next-80B-A3B-Instruct是通义千问团队开发的高效稀疏混合专家模型,总参数量80B,激活参数量仅3B。该模型采用创新的混合注意力机制和极低激活率的MoE架构,在保持强大性能的同时大幅提升推理效率,原生支持262K上下文长度并可扩展至1M令牌。
Infinigence
梅格雷斯2-3x7B-A3B是一款设备原生大语言模型,采用混合专家(MoE)架构,结合了MoE的准确性和密集模型的紧凑性优势。该模型在8T标记数据上训练,具备32K上下文长度,未来计划提升推理和代理能力。
DevQuasar
这是一个基于GPT架构的60亿参数专家混合模型(MoE)的量化版本,经过剪枝优化仅保留7个专家,专注于文本生成任务,致力于让知识为每个人所用
float-trip
Qwen3-14B-Base是通义系列最新一代的大语言模型,提供了一系列全面的密集模型和专家混合(MoE)模型,在训练数据、模型架构和优化技术等方面取得了显著进展。
alibayram
基于DeepSeek架构,在土耳其语文本上训练的语言模型,包含多头潜在注意力(MLA)和专家混合(MoE)技术。
RedHatAI
Llama 4 Maverick是Meta推出的170亿参数混合专家架构(MoE)多模态模型,支持12种语言和图像理解,适用于商业与研究用途。