字节跳动Seed团队在最新论文中揭示，大语言模型处理超长文本时性能波动，主要源于分块KV缓存压缩技术的“相位敏感性”。为降低长上下文推理内存消耗，该技术通过固定步幅将连续标记窗口压缩为更少条目，却引入Token相对于压缩窗口的新位置坐标，造成检索偏差，进而引发性能波动。
英伟达研究团队实现KV缓存跨模型迁移，让目标模型跳过预填充阶段，转换速度比重新处理上下文快2.7到25倍。KV缓存解释了聊天机器人首词延迟现象：生成第一个词前需预处理全部输入，后续词可复用缓存快速生成，该突破能大幅减少响应等待。
MiniMax M3模型正式发布，京东云JoyBuilder平台同步接入并开放服务。核心亮点是推理性能大幅提升，通过自研推理框架结合PD分离部署、KV Cache缓存及投机采样等优化技术，实现更高效的实际运行效果。
谷歌推出TurboQuant技术，通过压缩KV缓存，有效解决大语言模型推理中的内存瓶颈问题，可在不降低精度的前提下大幅减少内存占用，提升处理长文本和复杂任务的效率。
Openai
$0.35
Input tokens/M
$2.8
Output tokens/M
400
Context Length
Moonshot
$2
$10
8
$30
131
sudeshmu
基于LLaMA架构并采用MoR（混合递归）技术的3.6亿参数语言模型，在FineWeb-Edu去重数据集上微调，通过动态路由机制和递归式KV缓存实现高效的文本生成能力。
RedHatAI
Meta-Llama-3-8B-Instruct模型经过FP8权重和激活值的逐张量量化，适用于vLLM >= 0.5.0进行推理。该模型检查点还包含FP8量化KV缓存的逐张量缩放参数。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Join Now
