GPU 显存不够用？大模型推理的显存优化实战

显存是推理部署的第一道坎，分享几条实用手段：

1. 量化：INT8/INT4 是标配，能省 2~4 倍显存，精度损失可控；
2. KV Cache 优化：分页（PagedAttention）、量化 KV Cache，长上下文场景收益大；
3. 模型并行：张量并行（TP）适合单机多卡，流水线并行适合跨机；
4. 卸载：把不常用的层卸载到 CPU/磁盘，牺牲延迟换显存。

实测一个 13B 模型，做完 INT4 + PagedAttention，显存从 26GB 降到 8GB 左右，延迟增加约 20%。

大家还有什么显存优化技巧？

显存优化里还有一个常被忽略的点：activation 的显存峰值。长序列时 activation 可能比权重还占地方，用 gradient checkpointing 或者 flash attention 能省不少。

INT4 量化后小任务的精度确实需要注意。我们做过评测，同样的量化方案，分类任务掉点很少，生成任务的中文长文本质量下降明显。