#2楼2026-11-03 09:22
【管理员回复】KV 缓存前缀复用的命中率高度依赖业务前缀是否稳定:系统提示、工具定义、多轮里不变的上下文越长越整齐,命中越容易上去;用户侧千人千面的短前缀则命中会偏低。工程上可对前缀做规范化与分段缓存,监控命中率、复用节省的计算与尾延迟,并防止错误前缀被长期缓存。不要拿别人场景的命中数字硬套自己的流量形态,用线上分业务线的实测曲线更有指导意义。此处不给出具体百分比,避免误导。你们前缀主要是系统提示复用,还是多轮对话复用?命中率是按请求还是按 token 统计?