LG AI研究院7月31日在Hugging Face发布K-EXAONE 2.0模型,为韩国主权AI项目第二代。采用混合注意力MoE架构,总参数7500亿、激活参数370亿,规模是初代3倍以上,系韩国最大AI基础模型。模型以Apache 2.0完全开源,在韩国AI发展史中颇为罕见。
华为开源盘古大模型openPangu-2.0-Pro,基于昇腾NPU训练,采用混合专家架构,总参数5050亿,激活参数180亿,支持512K上下文。同步开放权重、推理代码与技术报告,推动昇腾AI生态,提供原生训练推理实践。
前OpenAI CTO Mira Murati创立的Thinking Machines Lab于2026年7月15日发布首个开源模型Inkling。该模型采用混合专家架构,总参数量达9750亿,单次任务仅激活部分参数,实现高效定制。此举意在挑战巨头主导的闭源AI模式,提供可高度定制的开放权重方案。
德国研究联盟发布开源大模型Soofi S30B-A3B,助力欧洲主权AI。该模型采用混合专家架构,融合Mamba-2与注意力层,总参数量316亿,但推理时每token仅激活部分参数,实现高效生成,为高性能开源模型领域注入新活力。
AI21 Jamba Large 1.6 是一款强大的混合 SSM-Transformer 架构基础模型,擅长长文本处理和高效推理。
MiniMax-Text-01是一个强大的语言模型,具有4560亿总参数,能够处理长达400万token的上下文。
高效扩展多模态大型语言模型至1000图像
个性化图像生成的注意力混合架构
Xai
$1.4
Input tokens/M
$3.5
Output tokens/M
2k
Context Length
Openai
-
Anthropic
$7
$35
200
Alibaba
$4
$16
1k
$2
$20
Bytedance
$1.2
$3.6
4
256
Moonshot
$0.8
128
$10.5
Tencent
$1
32
Deepseek
$12
$0.4
$0.75
$8.75
$70
400
64
$0.63
$3.15
131
24
ai-sage
GigaChat3-10B-A1.8B 是 GigaChat 系列的高效对话模型,基于混合专家(MoE)架构,拥有 100 亿总参数和 18 亿活跃参数。它采用了创新的多头潜在注意力(MLA)和多令牌预测(MTP)技术,旨在优化推理吞吐量和生成速度。模型在 20T 令牌的多样化数据上训练,支持包括中文在内的 10 种语言,适用于需要快速响应的对话场景。
Arko007
Zenyx_114M-Tiny-Edu-Instruct 是一个实验性的小型指令微调语言模型,拥有约1.14亿参数。它基于TinyEdu-50M基础模型构建,在FineWeb-Edu数据集上预训练,并在OpenHermes-2.5和CodeFeedback-Filtered混合数据集上进行了指令微调。该模型旨在探索极小架构下指令微调的极限,验证损失收敛至约1.04。
evilfreelancer
这是ai-sage/GigaChat3-10B-A1.8B模型的量化版本,采用GGUF格式,需要特定的llama.cpp分支支持。模型采用混合专家架构,总参数量约118亿,其中激活参数量约18亿。
GigaChat3-10B-A1.8B是GigaChat系列的对话模型,基于混合专家(MoE)架构,共有100亿参数,其中18亿为活跃参数。该模型采用多头潜在注意力和多令牌预测技术,支持25.6万令牌的长上下文,在多语言对话和推理任务中表现出色。
GigaChat3-10B-A1.8B-base是GigaChat系列的基础预训练模型,采用混合专家(MoE)架构,总参数100亿,活跃参数18亿。模型集成了多头潜在注意力(MLA)和多令牌预测(MTP)技术,在推理时具备高吞吐量优势。
bartowski
这是一个基于REAP方法对MiniMax-M2中40%专家进行均匀剪枝得到的139B参数大语言模型,采用GLM架构和专家混合(MoE)技术,通过llama.cpp进行多种量化处理,适用于文本生成任务。
Kiy-K
Fyodor-StarCoder2-7B-MoE是基于StarCoder2-7B的增强版本,采用混合专家架构,拥有3个MoE层、6个专家网络和top-2路由机制,在代码生成、函数调用和智能体任务方面表现优异。
NyxKrage
Moondream 3 Preview HF是基于HuggingFace Transformers架构规范对Moondream 3 (Preview)模型的重新实现,使其能够与Hugging Face生态系统完全兼容。这是一个多模态视觉语言模型,采用专家混合(MoE)文本主干,约90亿参数,20亿活跃参数。
HIT-TMG
Uni-MoE 2.0-Omni 是荔枝科技(Lychee)推出的完全开源全模态模型,采用全模态 3D RoPE 和动态容量专家混合架构,显著提升了以语言为中心的多模态理解、推理和生成能力。该版本集成了全模态理解以及音频和图像生成能力。
noctrex
Aquif-3.5-Max-42B-A3B是一个420亿参数的大型语言模型,经过MXFP4_MOE量化处理,在保持高质量文本生成能力的同时优化了推理效率。该模型基于先进的混合专家架构,适用于多种自然语言处理任务。
本项目是卡纳娜1.5-15.7B-A3B指令模型的MXFP4_MOE量化版本,可在特定场景下提升模型的运行效率。该模型基于kakaocorp/kanana-1.5-15.7b-a3b-instruct进行优化,采用混合专家架构和MXFP4量化技术。
moonshotai
Kimi K2 Thinking 是月之暗面(Moonshot AI)开发的最新一代开源思维模型,具有强大的深度推理能力和工具调用功能。该模型采用混合专家架构,支持原生INT4量化,拥有256k上下文窗口,在多个基准测试中表现出色。
unsloth
Qwen3-VL是通义系列中最强大的视觉语言模型,在文本理解与生成、视觉感知与推理、上下文长度、空间和视频动态理解以及智能体交互能力等方面全面升级。该模型提供密集架构和混合专家架构,支持从边缘设备到云端的灵活部署。
Qwen
Qwen3-VL是通义系列最强大的视觉语言模型,采用混合专家模型架构(MoE),提供GGUF格式权重,支持在CPU、GPU等设备上进行高效推理。模型在文本理解、视觉感知、空间理解、视频处理等方面全面升级。
Qwen3-VL-30B-A3B-Instruct是通义系列中最强大的视觉语言模型,采用混合专家模型架构,具备出色的文本理解与生成能力、深入的视觉感知与推理能力,支持256K长上下文和视频理解,可在多种设备上进行推理。
Qwen3-VL是迄今为止Qwen系列中最强大的视觉语言模型,在文本理解与生成、视觉感知与推理、上下文长度、空间和视频动态理解以及智能体交互能力等方面都进行了全面升级。该模型采用混合专家(MoE)架构,提供卓越的多模态处理能力。
Qwen3-VL是通义大模型系列中最强大的视觉语言模型,具备卓越的文本理解与生成能力、深入的视觉感知与推理能力、长上下文支持、强大的空间和视频动态理解能力以及出色的智能体交互能力。该模型采用混合专家(MoE)架构,是增强推理的思维版。
Qwen3-VL是通义系列中最强大的视觉语言模型,在文本理解与生成、视觉感知与推理、上下文长度、空间和视频动态理解以及智能体交互能力等方面都进行了全面升级。该模型提供密集架构和混合专家架构,支持从边缘设备到云端的灵活部署。
Kimi Linear是一种混合线性注意力架构,在各种场景下包括短、长上下文以及强化学习扩展机制中,均优于传统的全注意力方法。它能有效解决传统注意力机制在长上下文任务中效率低下的问题,为自然语言处理等领域带来更高效的解决方案。
Kimi Linear是一种高效混合线性注意力架构,在短上下文、长上下文和强化学习场景中均优于传统全注意力方法。它通过Kimi Delta Attention (KDA)机制优化注意力计算,显著提升性能和硬件效率,特别擅长处理长达100万令牌的长上下文任务。
Edit-MCP是一个与微软Edit工具集成的模型上下文协议服务器,为AI系统提供高级文件编辑功能,采用混合架构结合直接文件操作和Edit集成。
基于iFlytek的MCP服务器实现,支持智能工作流调度与多模型混合应用架构。
这是一个基于MariaDB Cloud的混合检索增强生成(RAG)搜索系统演示项目。它集成了MariaDB向量搜索和通过FastMCP服务器实现的Brave Search网络搜索增强,使用20 Newsgroups数据集作为示例,提供即插即用的混合搜索架构。
马来西亚开放数据MCP服务,提供政府数据集和集合的便捷访问,支持增强统一搜索、Parquet文件解析、混合数据访问架构和多提供商地理编码等功能。
Edit-MCP是一个与Microsoft Edit工具集成的模型上下文协议服务器,为AI系统提供高级文件编辑功能,采用混合架构结合文件系统操作和Edit集成。
REAPER MCP服务器是一个通过API接口暴露REAPER数字音频工作站功能的项目,采用Lua-Python混合架构,支持文件或套接字通信方式,提供756种工具覆盖音频处理的多个领域。