F
在 Transformer 自回归推理中,每生成一个 token,都需要用到之前所有 token 的 Key 和 Value。为了避免重复计算,推理框架会把它们缓存下来,这就是 KV Cache。
一、显存怎么算。 KV Cache 大小 ≈ 2(K 和 V)× 层数 × KV 头数 × 每头维度 × 序列长度 × 批大小 × 每元素字节数。可以看出,它随序列长度和并发数线性增长。长上下文、高并发场景下,KV Cache 往往比模型权重本身还占显存,并成为限制吞吐的主要因素。
二、主流优化方向。
1. 结构层面:MQA / GQA。 多个查询头共享同一组 K/V 头,直接减少 KV 头数,是很多新模型的标准配置。
2. 管理层面:分页式管理。 以 vLLM 的 PagedAttention 为代表,把 KV Cache 切成固定大小的块按需分配,减少碎片,并支持前缀共享。
3. 精度层面:KV 量化。 把 KV 从 FP16 压到 FP8 或更低位宽,以少量精度损失换取容量。
4. 策略层面:前缀缓存与淘汰。 对共享的系统提示词复用缓存;对超长上下文,也有研究按注意力重要性丢弃部分 token 的方法,但可能影响效果,需要评测。
三、对硬件的含义。 Decode 阶段需要反复读取 KV Cache,属于典型的访存密集型负载,因此显存容量和带宽对推理芯片至关重要。这也是 HBM 容量和带宽成为 AI 芯片关键指标的原因之一。
讨论问题:
1. 在你们的部署中,KV 量化对输出质量的影响有多明显?用什么方式评测?
2. 长上下文场景下,KV Cache 卸载到 CPU 内存或 SSD 是否实用?
3. 未来 AI 芯片会不会针对 KV Cache 做专门的存储层级设计?
一、显存怎么算。 KV Cache 大小 ≈ 2(K 和 V)× 层数 × KV 头数 × 每头维度 × 序列长度 × 批大小 × 每元素字节数。可以看出,它随序列长度和并发数线性增长。长上下文、高并发场景下,KV Cache 往往比模型权重本身还占显存,并成为限制吞吐的主要因素。
二、主流优化方向。
1. 结构层面:MQA / GQA。 多个查询头共享同一组 K/V 头,直接减少 KV 头数,是很多新模型的标准配置。
2. 管理层面:分页式管理。 以 vLLM 的 PagedAttention 为代表,把 KV Cache 切成固定大小的块按需分配,减少碎片,并支持前缀共享。
3. 精度层面:KV 量化。 把 KV 从 FP16 压到 FP8 或更低位宽,以少量精度损失换取容量。
4. 策略层面:前缀缓存与淘汰。 对共享的系统提示词复用缓存;对超长上下文,也有研究按注意力重要性丢弃部分 token 的方法,但可能影响效果,需要评测。
三、对硬件的含义。 Decode 阶段需要反复读取 KV Cache,属于典型的访存密集型负载,因此显存容量和带宽对推理芯片至关重要。这也是 HBM 容量和带宽成为 AI 芯片关键指标的原因之一。
讨论问题:
1. 在你们的部署中,KV 量化对输出质量的影响有多明显?用什么方式评测?
2. 长上下文场景下,KV Cache 卸载到 CPU 内存或 SSD 是否实用?
3. 未来 AI 芯片会不会针对 KV Cache 做专门的存储层级设计?