L
长提示词场景,KV Cache 复用能省很多钱:
1. 原理:相同的 prompt 前缀可以复用已计算的 KV,不用重算;
2. 条件:前缀必须完全一致,所以要把固定部分(系统提示、知识)放前面;
3. 收益:长系统提示 + 多轮对话场景,能省 50% 以上的 prefill 成本;
4. 限制:缓存有有效期(通常几分钟),间隔太久会失效。
工程做法:把系统提示和固定知识放 prompt 最前面且保持稳定,动态内容放后面,这样缓存命中率最高。
注意别在系统提示里放时间戳之类的动态内容,会让缓存全部失效,这是常见错误。
大家有用 KV Cache 复用吗?
1. 原理:相同的 prompt 前缀可以复用已计算的 KV,不用重算;
2. 条件:前缀必须完全一致,所以要把固定部分(系统提示、知识)放前面;
3. 收益:长系统提示 + 多轮对话场景,能省 50% 以上的 prefill 成本;
4. 限制:缓存有有效期(通常几分钟),间隔太久会失效。
工程做法:把系统提示和固定知识放 prompt 最前面且保持稳定,动态内容放后面,这样缓存命中率最高。
注意别在系统提示里放时间戳之类的动态内容,会让缓存全部失效,这是常见错误。
大家有用 KV Cache 复用吗?