["蚂蚁集团旗下CodeFuse代码大模型开源ModelCache大模型语义缓存","ModelCache架构包括adapter、embedding、similarity和data_manager模块","ModelCache可降低大型模型应用的推理成本,提升用户体验","命中缓存可将平均耗时降低10倍,提速率可达14.5%","ModelCache将继续优化性能和精度,提升召回时间和准确率"]
新型嵌入模型,性能更强,价格更低。
Bytedance
$0.5
输入tokens/百万
-
输出tokens/百万
上下文长度
Moonshot
$200
131
Tencent
$0.7