GPU 显存不够用？大模型推理的显存优化实战

显存是推理部署的第一道坎，分享几条实用手段：

1. 量化：INT8/INT4 是标配，能省 2~4 倍显存，精度损失可控；
2. KV Cache 优化：分页（PagedAttention）、量化 KV Cache，长上下文场景收益大；
3. 模型并行：张量并行（TP）适合单机多卡，流水线并行适合跨机；
4. 卸载：把不常用的层卸载到 CPU/磁盘，牺牲延迟换显存。

实测一个 13B 模型，做完 INT4 + PagedAttention，显存从 26GB 降到 8GB 左右，延迟增加约 20%。

大家还有什么显存优化技巧？

再看一层：显存优化之后往往是带宽成为新瓶颈。batch 上来以后 KV Cache 的读取量很大，这时 HBM 带宽就决定吞吐了，所以优化要分阶段看瓶颈。

PagedAttention 的收益在长上下文和多样长度请求混合时最明显。短请求为主的场景收益没那么大，别指望一招通吃。