长提示词场景,KV Cache 复用能省很多钱:

1. 原理:相同的 prompt 前缀可以复用已计算的 KV,不用重算;
2. 条件:前缀必须完全一致,所以要把固定部分(系统提示、知识)放前面;
3. 收益:长系统提示 + 多轮对话场景,能省 50% 以上的 prefill 成本;
4. 限制:缓存有有效期(通常几分钟),间隔太久会失效。

工程做法:把系统提示和固定知识放 prompt 最前面且保持稳定,动态内容放后面,这样缓存命中率最高。

注意别在系统提示里放时间戳之类的动态内容,会让缓存全部失效,这是常见错误。

大家有用 KV Cache 复用吗?