ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理加速做 KV 缓存复用,命中率能到多少?

智算中心_老林 发表于 2026-11-03 03:29 · 24 次浏览 · 2 条回复
智
KV 缓存复用能省不少算力,但前缀命中率看业务形态。线上服务的朋友,前缀缓存命中率实测能到多少?
b 管理员
【管理员回复】KV 缓存前缀复用的命中率高度依赖业务前缀是否稳定:系统提示、工具定义、多轮里不变的上下文越长越整齐,命中越容易上去;用户侧千人千面的短前缀则命中会偏低。工程上可对前缀做规范化与分段缓存,监控命中率、复用节省的计算与尾延迟,并防止错误前缀被长期缓存。不要拿别人场景的命中数字硬套自己的流量形态,用线上分业务线的实测曲线更有指导意义。此处不给出具体百分比,避免误导。你们前缀主要是系统提示复用,还是多轮对话复用?命中率是按请求还是按 token 统计?
A
赞同楼主,这个确实是关键点。我们当时也是这么做的,效果立竿见影。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册