摩尔线程自主研发的MUSA架构成功适配开源推理框架llama.cpp,支持在MTT S80/S3000/S4000系列GPU上高效运行AI推理。此前MUSA SDK已扩展至Intel和海光平台,此次适配进一步降低了大模型部署门槛。llama.cpp作为轻量化跨硬件框架,支持LLaMA、Mistral等模型及多模态应用。这一突破为国内AI硬件生态注入新活力,推动AI技术在各领域的应用普及。
Xai
$1.4
Input tokens/M
$3.5
Output tokens/M
2k
Context Length
Alibaba
$4
$16
1k
$2
$20
-
Bytedance
$1.2
$3.6
4
256
Moonshot
$0.8
128
$10.5
Tencent
$1
32
Deepseek
$12
Openai
$0.4
$0.75
$8.75
$70
400
64
$0.63
$3.15
131
24
Chatglm
$8