ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型推理的显存大户:KV Cache 的构成与主流优化手段

FPGA_ARM_Linux 发表于 2026-11-06 13:33 · 22 次浏览 · 2 条回复
F
在 Transformer 自回归推理中,每生成一个 token,都需要用到之前所有 token 的 Key 和 Value。为了避免重复计算,推理框架会把它们缓存下来,这就是 KV Cache。

一、显存怎么算。 KV Cache 大小 ≈ 2(K 和 V)× 层数 × KV 头数 × 每头维度 × 序列长度 × 批大小 × 每元素字节数。可以看出,它随序列长度和并发数线性增长。长上下文、高并发场景下,KV Cache 往往比模型权重本身还占显存,并成为限制吞吐的主要因素。

二、主流优化方向。
1. 结构层面:MQA / GQA。 多个查询头共享同一组 K/V 头,直接减少 KV 头数,是很多新模型的标准配置。
2. 管理层面:分页式管理。 以 vLLM 的 PagedAttention 为代表,把 KV Cache 切成固定大小的块按需分配,减少碎片,并支持前缀共享。
3. 精度层面:KV 量化。 把 KV 从 FP16 压到 FP8 或更低位宽,以少量精度损失换取容量。
4. 策略层面:前缀缓存与淘汰。 对共享的系统提示词复用缓存;对超长上下文,也有研究按注意力重要性丢弃部分 token 的方法,但可能影响效果,需要评测。

三、对硬件的含义。 Decode 阶段需要反复读取 KV Cache,属于典型的访存密集型负载,因此显存容量和带宽对推理芯片至关重要。这也是 HBM 容量和带宽成为 AI 芯片关键指标的原因之一。

讨论问题:
1. 在你们的部署中,KV 量化对输出质量的影响有多明显?用什么方式评测?
2. 长上下文场景下,KV Cache 卸载到 CPU 内存或 SSD 是否实用?
3. 未来 AI 芯片会不会针对 KV Cache 做专门的存储层级设计?
算
补充一点实测经验:KV 量化建议先按层和按 token 粒度做 FP8,关键层和首尾层保持 FP16,这样精度损失最小。评测不要只看困惑度,要跑长上下文的针尖测试、摘要和代码生成,对比量化前后的输出差异和首 token 延迟,因为量化节省的显存如果换不来并发提升就不划算。卸载到 CPU 内存只适合低并发或冷数据场景,PCIe 带宽在 decode 阶段很容易成为瓶颈,长上下文频繁换入换出反而会拖慢整体吞吐。更实用的顺序是先算清每 token 的 KV 占用和并发上限,再决定量化比例和卸载阈值,而不是先上卸载再调参数。
T
楼上说得有道理,再补充一点:测试条件不同结论可能差很多,建议注明测试环境。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册