长上下文推理最先撞上的往往不是算力,而是显存。注意力机制要为每个已生成的词元保存键值对,上下文越长,键值缓存占的显存越大,批量并发一上来就容易溢出。压缩键值缓存,就是在尽量不伤效果的前提下,把这部分显存省下来。

三条路线各有取舍。第一是量化,把键值缓存从高精度存成低精度,显存占用直接减半以上,精度损失通常可控,适合对延迟敏感的在线服务。第二是窗口化,只保留最近一段窗口的完整键值,配合少量长期记忆槽位,让远距离信息以摘要形式参与计算,适合对话类长上下文。第三是逐出策略,按注意力分数动态丢弃不重要的词元,保留关键内容,适合文档问答这种重点集中的场景。

落地时有三条提醒。压缩方法要和模型与场景一起测,不能只看显存省了多少,还要看长上下文任务的效果掉了多少;窗口大小与逐出阈值要留可调参数,不同业务的最优值不一样;压缩与前缀复用、分页管理可以叠加使用,显存账要整体算。

三种路线也可以组合使用,实践中很少只用一种。比如先做量化把基数降下来,再对长上下文叠加窗口化,显存能省下更多;文档问答类场景可以在窗口化基础上加逐出策略,把注意力分数低的词元清掉。组合之前要先单测每种路线的效果损耗,确认各自的代价,再测组合后的叠加效果,避免损耗互相放大。上线方式建议灰度:先对一小部分流量开启压缩,对比效果指标和延迟指标,确认无明显回退再逐步放量;同时保留一键回退的开关,一旦发现异常能立刻切回未压缩模式。键值缓存压缩的终点不是省得越多越好,而是在效果、延迟和显存之间找到当前业务能接受的平衡点。显存优化没有银弹,压缩只是工具箱里的一件,先量清自己的显存账,再选路线、做灰度、留回退,步子稳了效果才稳。把账算清楚再动手,压缩才有意义。值得认真对待。