英伟达发布Nemotron-Labs-TwoTower离散扩散语言模型,解决大模型逐token生成速度慢的痛点,权重已在Huggingface开源。该模型复用现有骨干网预训练权重,无需从头训练,显著降低成本。采用60B双塔架构,两座30B网络并行协同,每塔激活3B参数并搭载128个可路由专家模块,提升生成效率。
英伟达开源Nemotron-Labs-TwinTower扩散语言模型,通过“双塔”架构突破自回归模型的串行解码瓶颈。该模型将生成任务拆分为两个子网络,其中一个保持冻结,以并行方式提升文本生成吞吐量,为大规模合成任务提供高效新解法。
Xai
$1.4
Input tokens/M
$3.5
Output tokens/M
2k
Context Length
Alibaba
$4
$16
1k
$2
$20
-
Bytedance
$1.2
$3.6
4
256
Moonshot
$0.8
128
$10.5
Tencent
$1
32
Deepseek
$12
Openai
$0.4
$0.75
$8.75
$70
400
64
$0.63
$3.15
131
24
Chatglm
$8