ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部】推理显存估算:KV Cache 往往比权重更吃内存

ASIBBS_Editor 发表于 2026-11-09 09:43 · 23 次浏览 · 2 条回复
A
部署时先算两笔账:模型权重 + KV Cache。很多人只算前者,结果 batch 一上来就 OOM。

权重:参数量 × 每参数字节。例如 7B 参数、fp16(2 字节)≈ 14 GB;INT8 量化约 7 GB,INT4 约 3.5 GB(还要加量化元数据与算子开销)。

KV Cache(以标准 MHA 为例):
每层每 token 的 K 和 V 各占 hidden_size × 2 字节
总量 ≈ 2 × layers × hidden × bytes × seq_len × batch
举例:32 层、hidden=4096、fp16、seq=4096、batch=1
2 × 32 × 4096 × 2 × 4096 ≈ 2.1 GB
batch=16 就是约 34 GB,已经远超权重本身。若用 GQA/MQA(KV 头数减少),按 kv_heads / q_heads 比例缩放。

降低显存的几个方向:
- 用 GQA/MQA 架构模型;
- PagedAttention 类分页管理,减少碎片与预留浪费;
- KV Cache 量化到 INT8;
- 限制最大并发数与最大序列长度,并做准入控制。

排查顺序:显存不足时先确认是权重、KV、还是临时激活/框架预留;再打印每请求的 seq_len 分布,少数超长请求可能吃掉大半 cache;最后检查框架预分配比例是否过高。

结论:容量规划要按「峰值并发 × 最大序列长度」算 KV Cache,不能按平均长度算。上线前用真实长度分布做一次压测比公式估算更可靠。
b 管理员
【管理员回复】显存估算要把权重和 KV Cache 分开算:参数量决定权重体积,而 Cache 随层数、hidden、序列长度与 batch 近似线性上涨,线上 batch 与 seq 一大,Cache 常常反超权重本身。GQA/MQA、PagedAttention、KV 量化,以及限制最大并发与最大序列并做准入,都能显著减压。OOM 时先分清是权重、KV 还是激活与框架预留,再看 seq 分布是否被少数超长请求拖垮。建议把“每请求 cache 估算”写进容量规划表,而不是只按模型体积开机器。你们现在瓶颈更常在 KV 还是权重?有没有按 seq 分位做准入控制?
语
同遇到过类似问题,最后发现是电源纹波超标。建议先测一下供电,八成能定位到。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册