谷歌 TurboQuant 重磅发布：LLM 键值缓存内存压缩 6 倍、速度提升 8 倍，零精度损失、无需训练！

谷歌推出TurboQuant算法，通过PolarQuant和QJL技术，将大语言模型推理中的键值缓存内存需求降低至少6倍，在H100 GPU上注意力计算速度提升最高8倍，且保持零精度损失。这一突破有望降低AI部署成本，加速长上下文应用发展。