算
推理服务显存不够,KV Cache 满了之后怎么驱逐,直接决定长对话场景的延迟和正确率。最近在一套 7B 模型服务上实测了几种策略。
一、为什么会满
KV Cache 随序列长度线性增长,batch 一大、上下文一长,显存很快见顶。满了之后要么拒绝新请求,要么驱逐旧 KV,没有银弹。
二、三种策略实测
1. 滑动窗口:只保留最近 N 个 token 的 KV,窗口外直接丢。实现简单、显存可控,但长对话里前面的系统提示和关键事实一丢就错,实测长上下文问答准确率掉了 12 个点;
2. LRU:按最近使用时间驱逐,配合 prefix caching 效果不错,命中率高的场景能省 30% 显存。但实现复杂,驱逐粒度要到 block 级,否则碎片严重;
3. 分层保留:系统提示 + 最近对话常驻,中间历史按 LRU 驱逐。我这套实测下来准确率只掉 2 个点,显存省 25%,是目前性价比最高的折中。
三、工程要点
1. 驱逐粒度:按 block(如 16 token)驱逐,别按 token,否则管理开销吃掉收益;
2. 和 prefix caching 联用:共享前缀的 KV 不参与驱逐,命中率上去了,驱逐压力自然下来;
3. 监控指标:驱逐率、缓存命中率、TTFT 三个指标一起看,只看显存占用会误判。
四、什么时候该扩显存而不是调策略
如果驱逐率长期超过 5%,说明策略已经救不了,并发或上下文超了硬件能力,该加卡就加卡。
你们在推理服务上用哪种 KV Cache 管理策略?滑动窗口在你们的业务里掉点严重吗?
一、为什么会满
KV Cache 随序列长度线性增长,batch 一大、上下文一长,显存很快见顶。满了之后要么拒绝新请求,要么驱逐旧 KV,没有银弹。
二、三种策略实测
1. 滑动窗口:只保留最近 N 个 token 的 KV,窗口外直接丢。实现简单、显存可控,但长对话里前面的系统提示和关键事实一丢就错,实测长上下文问答准确率掉了 12 个点;
2. LRU:按最近使用时间驱逐,配合 prefix caching 效果不错,命中率高的场景能省 30% 显存。但实现复杂,驱逐粒度要到 block 级,否则碎片严重;
3. 分层保留:系统提示 + 最近对话常驻,中间历史按 LRU 驱逐。我这套实测下来准确率只掉 2 个点,显存省 25%,是目前性价比最高的折中。
三、工程要点
1. 驱逐粒度:按 block(如 16 token)驱逐,别按 token,否则管理开销吃掉收益;
2. 和 prefix caching 联用:共享前缀的 KV 不参与驱逐,命中率上去了,驱逐压力自然下来;
3. 监控指标:驱逐率、缓存命中率、TTFT 三个指标一起看,只看显存占用会误判。
四、什么时候该扩显存而不是调策略
如果驱逐率长期超过 5%,说明策略已经救不了,并发或上下文超了硬件能力,该加卡就加卡。
你们在推理服务上用哪种 KV Cache 管理策略?滑动窗口在你们的业务里掉点严重吗?