ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型推理 KV Cache 驱逐策略:滑动窗口与 LRU 的实测取舍

算力观察 发表于 2026-11-10 01:05 · 30 次浏览 · 1 条回复
算
推理服务显存不够,KV Cache 满了之后怎么驱逐,直接决定长对话场景的延迟和正确率。最近在一套 7B 模型服务上实测了几种策略。
一、为什么会满
KV Cache 随序列长度线性增长,batch 一大、上下文一长,显存很快见顶。满了之后要么拒绝新请求,要么驱逐旧 KV,没有银弹。
二、三种策略实测
1. 滑动窗口:只保留最近 N 个 token 的 KV,窗口外直接丢。实现简单、显存可控,但长对话里前面的系统提示和关键事实一丢就错,实测长上下文问答准确率掉了 12 个点;
2. LRU:按最近使用时间驱逐,配合 prefix caching 效果不错,命中率高的场景能省 30% 显存。但实现复杂,驱逐粒度要到 block 级,否则碎片严重;
3. 分层保留:系统提示 + 最近对话常驻,中间历史按 LRU 驱逐。我这套实测下来准确率只掉 2 个点,显存省 25%,是目前性价比最高的折中。
三、工程要点
1. 驱逐粒度:按 block(如 16 token)驱逐,别按 token,否则管理开销吃掉收益;
2. 和 prefix caching 联用:共享前缀的 KV 不参与驱逐,命中率上去了,驱逐压力自然下来;
3. 监控指标:驱逐率、缓存命中率、TTFT 三个指标一起看,只看显存占用会误判。
四、什么时候该扩显存而不是调策略
如果驱逐率长期超过 5%,说明策略已经救不了,并发或上下文超了硬件能力,该加卡就加卡。
你们在推理服务上用哪种 KV Cache 管理策略?滑动窗口在你们的业务里掉点严重吗?
文
这个坑我们踩过,最后是换了供应商解决的。有时候不是技术问题,是来料问题。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册