RND1是一個實驗性的擴散語言模型，擁有300億參數，採用稀疏專家混合架構。該模型從預訓練的自迴歸基礎模型轉換而來，支持基於擴散的文本生成，每個標記僅激活30億參數，在計算效率和模型容量之間取得平衡。

自然語言處理Transformers

Qwen3-Next-80B-A3B-Instruct是通義千問團隊開發的高效稀疏混合專家模型，總參數量80B，激活參數量僅3B。該模型採用創新的混合注意力機制和極低激活率的MoE架構，在保持強大性能的同時大幅提升推理效率，原生支持262K上下文長度並可擴展至1M令牌。

自然語言處理Transformers

Qwen3-Next-80B-A3B-Instruct是阿里巴巴通義千問團隊開發的最新一代大型語言模型，採用創新的混合注意力機制和高稀疏專家混合架構，在保持80B總參數的同時僅激活3B參數，實現了高效的上下文建模和推理加速，原生支持262K上下文長度並可擴展至1M令牌。

自然語言處理Transformers

Klear是由快手Kwai-Klear團隊開發的稀疏混合專家（MoE）大語言模型，具備高性能和推理效率的特點。總參數460億，激活參數僅25億，在多個能力基準測試中表現出色，為實際應用提供了高效且強大的解決方案。

自然語言處理Transformers多語言

MiniCPM-S-1B-sft 是一個基於激活稀疏化技術優化的1B參數規模語言模型，通過ProSparse方法實現高稀疏性推理加速，同時保持與原始模型相當的性能。

自然語言處理Transformers多語言

玲瓏線性預覽版是由InclusionAI開源發佈的混合線性稀疏大語言模型，總參數量17.1B，激活參數量3.0B。該模型基於混合線性注意力機制實現長文本推理，在推理過程中具備近線性計算複雜度與近恆定空間複雜度。

自然語言處理Safetensors多語言

基於LLaMA-2-7B的激活稀疏化大語言模型，通過ProSparse方法實現高稀疏率(89.32%)且保持原始性能

自然語言處理Transformers英語

MoE-LLaVA是一種基於專家混合架構的大型視覺語言模型，通過稀疏激活參數實現高效的多模態學習

多模態Transformers

MoE-LLaVA是一種基於專家混合架構的大規模視覺語言模型，通過稀疏激活參數實現高效的多模態學習。

多模態Transformers

該研究探索了稀疏大語言模型中最有效的激活函數，比較了ReLU、SwiGLU、ReGLU和平方ReLU四種激活函數在稀疏計算效率上的表現。

自然語言處理Transformers英語

基於Llama 2 7B微調的ReLU激活稀疏大語言模型，通過動態參數選擇提升計算效率

自然語言處理Transformers英語