阿里巴巴千問團隊開源稀疏混合專家模型Qwen3.6-35B-A3B，總參數量350億，激活參數僅30億。該模型以低計算成本在多項編程基準測試中超越Qwen3.5-27B，並顯著領先前代Qwen3.5-35B-A3B，實現輕量級模型在智能體編程領域的關鍵突破。
階躍星辰開源Step3.5Flash模型全鏈路，包括預訓練、中訓練權重及訓練框架。該模型專爲智能體設計，採用稀疏MoE架構，總參數量1960億，推理時僅激活約110億參數，能效比高，單請求代碼任務推理速度最高達350TP。
YuanLab.ai發佈開源多模態大模型Yuan3.0Flash，參數規模達40B，採用稀疏混合專家架構，推理時僅激活約3.7B參數，顯著提升效率。模型提供16bit與4bit權重、技術報告及訓練方法，支持二次開發和行業定製，推動AI技術普及。
小米發佈開源大模型MiMo-V2-Flash，主打高速高效，在推理、代碼生成等任務中表現突出，響應速度超越多款熱門國產模型。該模型採用稀疏激活架構，參數量達3090億，以MIT協議開源權重與代碼。
Gemma 2 9B和2B模型的稀疏自編碼器套件
Alibaba
$4
輸入tokens/百萬
$16
輸出tokens/百萬
1k
上下文長度
$2
-
256
Moonshot
Bytedance
$0.8
128
Openai
$0.4
$0.75
64
$1
Tencent
24
Chatglm
$8
32
$0.5
224
$12
28
$6
$18
Baidu
$3
$9
Minimax
inclusionAI
Ming-flash-omni 預覽版是基於 Ling-Flash-2.0 稀疏專家混合（MoE）架構構建的多模態大模型，總參數達100B，每個token僅激活6B參數。該模型在Ming-Omni基礎上進行了全面升級，在多模態理解和生成方面有顯著提升，特別是在語音識別、圖像生成和分割編輯方面表現突出。
radicalnumerics
RND1是一個實驗性的擴散語言模型，擁有300億參數，採用稀疏專家混合架構。該模型從預訓練的自迴歸基礎模型轉換而來，支持基於擴散的文本生成，每個標記僅激活30億參數，在計算效率和模型容量之間取得平衡。
cpatonn
Qwen3-Next-80B-A3B-Instruct是通義千問團隊開發的高效稀疏混合專家模型，總參數量80B，激活參數量僅3B。該模型採用創新的混合注意力機制和極低激活率的MoE架構，在保持強大性能的同時大幅提升推理效率，原生支持262K上下文長度並可擴展至1M令牌。
unsloth
Qwen3-Next-80B-A3B-Instruct是阿里巴巴通義千問團隊開發的最新一代大型語言模型，採用創新的混合注意力機制和高稀疏專家混合架構，在保持80B總參數的同時僅激活3B參數，實現了高效的上下文建模和推理加速，原生支持262K上下文長度並可擴展至1M令牌。
Kwai-Klear
Klear是由快手Kwai-Klear團隊開發的稀疏混合專家（MoE）大語言模型，具備高性能和推理效率的特點。總參數460億，激活參數僅25億，在多個能力基準測試中表現出色，為實際應用提供了高效且強大的解決方案。
openbmb
MiniCPM-S-1B-sft 是一個基於激活稀疏化技術優化的1B參數規模語言模型，通過ProSparse方法實現高稀疏性推理加速，同時保持與原始模型相當的性能。
玲瓏線性預覽版是由InclusionAI開源發佈的混合線性稀疏大語言模型，總參數量17.1B，激活參數量3.0B。該模型基於混合線性注意力機制實現長文本推理，在推理過程中具備近線性計算複雜度與近恆定空間複雜度。
SparseLLM
基於LLaMA-2-7B的激活稀疏化大語言模型，通過ProSparse方法實現高稀疏率(89.32%)且保持原始性能
LanguageBind
MoE-LLaVA是一種基於專家混合架構的大型視覺語言模型，通過稀疏激活參數實現高效的多模態學習
MoE-LLaVA是一種基於專家混合架構的大規模視覺語言模型，通過稀疏激活參數實現高效的多模態學習。
該研究探索了稀疏大語言模型中最有效的激活函數，比較了ReLU、SwiGLU、ReGLU和平方ReLU四種激活函數在稀疏計算效率上的表現。
基於Llama 2 7B微調的ReLU激活稀疏大語言模型，通過動態參數選擇提升計算效率
Diffusers英語%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
