大模型与国产硬件生态融合加速。10月15日,阶跃星辰开源新一代大模型Step5Preview;同日,摩尔线程宣布MTT S5000智算卡及MUSA软件栈已完成Day-0适配。Step5Preview采用稀疏MoE架构,总参数量600B,每token激活27B,原生支持100万token超长上下文,展现国产软硬件协同迭代提速。
10月16日凌晨,Meta发布开放权重模型Muse Spark Open,总参数8160亿,每Token激活约420亿,支持100万Token上下文,可输入文本、图像、视频和音频。其采用稀疏混合专家架构,原生多模态,主攻编程与Agent任务,面向长周期执行、复杂软件工程和多步推理。Meta称其为迄今最强美国开放权重模型,重点在本地部署,并借助最新版MLX框架。
Google DeepMind于9月30日推出Gemini 4 Argon。最大突破是单次输出上限从64K提升至100万Token,而非上下文窗口。模型可在单条任务链中连续生成数十万至上百万字,无需分段请求,使深度代码库迁移、长篇技术报告、多步自动化流程更连贯。多数前沿模型输出上限约12.8万Token,Argon显著领先。
9月28日,多名开发者发现月之暗面API后台模型注册表出现“kimi-k3-1”,接口探测显示可调用。当晚,Kimi官方开放平台预告K3.1(代号“K311111”),支持1M tokens上下文窗口。泄露配置显示,该旗舰模型预计最高支持100万Token上下文,或为月之暗面下一发旗舰。
Openai
$2.8
输入tokens/百万
$11.2
输出tokens/百万
1k
上下文长度
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
Anthropic
$105
$525
200
$0.7
$7
$35
Alibaba
$4
$16
$6
$24
256
$2
$20
-
Bytedance
$0.8
$0.15
$1.5
Baidu
32
$10.5
Tencent
$1
$8
$0.75
$0.35
400
$0.63
$3.15
131
DavidAU
基于Llama 3.1的8B参数模型,支持100万token上下文长度,专为创意写作和角色扮演优化,具有高度稳定性和低困惑度特性。
YOYO-AI
Qwen2.5-YOYO第五代模型,整合了多个先进模型的特点,优化了模型合并公式,支持100万token上下文。
gradientai
由Gradient开发的Llama-3 8B长上下文扩展版本,支持超过100万token的上下文长度,通过优化RoPE theta参数实现高效长文本处理能力。