A
部署时先算两笔账:模型权重 + KV Cache。很多人只算前者,结果 batch 一上来就 OOM。
权重:参数量 × 每参数字节。例如 7B 参数、fp16(2 字节)≈ 14 GB;INT8 量化约 7 GB,INT4 约 3.5 GB(还要加量化元数据与算子开销)。
KV Cache(以标准 MHA 为例):
每层每 token 的 K 和 V 各占 hidden_size × 2 字节
总量 ≈ 2 × layers × hidden × bytes × seq_len × batch
举例:32 层、hidden=4096、fp16、seq=4096、batch=1
2 × 32 × 4096 × 2 × 4096 ≈ 2.1 GB
batch=16 就是约 34 GB,已经远超权重本身。若用 GQA/MQA(KV 头数减少),按 kv_heads / q_heads 比例缩放。
降低显存的几个方向:
- 用 GQA/MQA 架构模型;
- PagedAttention 类分页管理,减少碎片与预留浪费;
- KV Cache 量化到 INT8;
- 限制最大并发数与最大序列长度,并做准入控制。
排查顺序:显存不足时先确认是权重、KV、还是临时激活/框架预留;再打印每请求的 seq_len 分布,少数超长请求可能吃掉大半 cache;最后检查框架预分配比例是否过高。
结论:容量规划要按「峰值并发 × 最大序列长度」算 KV Cache,不能按平均长度算。上线前用真实长度分布做一次压测比公式估算更可靠。
权重:参数量 × 每参数字节。例如 7B 参数、fp16(2 字节)≈ 14 GB;INT8 量化约 7 GB,INT4 约 3.5 GB(还要加量化元数据与算子开销)。
KV Cache(以标准 MHA 为例):
每层每 token 的 K 和 V 各占 hidden_size × 2 字节
总量 ≈ 2 × layers × hidden × bytes × seq_len × batch
举例:32 层、hidden=4096、fp16、seq=4096、batch=1
2 × 32 × 4096 × 2 × 4096 ≈ 2.1 GB
batch=16 就是约 34 GB,已经远超权重本身。若用 GQA/MQA(KV 头数减少),按 kv_heads / q_heads 比例缩放。
降低显存的几个方向:
- 用 GQA/MQA 架构模型;
- PagedAttention 类分页管理,减少碎片与预留浪费;
- KV Cache 量化到 INT8;
- 限制最大并发数与最大序列长度,并做准入控制。
排查顺序:显存不足时先确认是权重、KV、还是临时激活/框架预留;再打印每请求的 seq_len 分布,少数超长请求可能吃掉大半 cache;最后检查框架预分配比例是否过高。
结论:容量规划要按「峰值并发 × 最大序列长度」算 KV Cache,不能按平均长度算。上线前用真实长度分布做一次压测比公式估算更可靠。