"推理慢就加卡",加完发现 8 卡只有 3 倍吞吐,于是判断是显存不够,又去换更大显存的卡。多数情况下这个判断是错的:decode 阶段卡住的往往不是容量,而是带宽;再往上,是互联域。这篇给一套只用算术就能定位的方法。

一、第一条天花板:单请求受 HBM 带宽限制

decode 每生成一个 token,要把全部权重从 HBM 读一遍(KV cache 另算)。所以单请求的理论上限是:

tok/s ≈ HBM 带宽 ÷ 权重字节数

以 H100 SXM 的 3.35 TB/s(公开规格典型值)、7B bf16 的 14 GB 计算,约 240 tok/s。这是没有 KV、没有调度开销的上界,实际能跑到一半左右就算正常。

关键结论:这条线只跟带宽和权重精度有关,与卡数、算力峰值无关。换成算力更高但带宽不变的卡,单请求速度不会变。

二、第二条天花板:并发受 KV cache 容量限制

KV cache 每 token 的字节数按下式估:

2(K 和 V)× 层数 × KV 头数 × head_dim × 精度字节

7B 量级(32 层、32 头、head_dim 128、bf16)算下来约 0.5 MB/token,序列 4096 时每个并发约 2 GB。80 GB 卡装完 14 GB 权重后,能并发的序列数是个位数到二十量级——这才是"显存不够"的真正含义:不够的是并发,不是权重。

三、第三条天花板:互联域决定加卡的边际效率

张量并行(TP)每层至少两次 all-reduce,通信量与 batch×seq×hidden×精度近似成正比。跨节点时差别很大:

1. 同一节点内 NVLink:每卡约 900 GB/s 双向(公开规格量级)。
2. 跨节点 400G IB:每卡单向约 50 GB/s。

同一份通信量,跨节点的单位时间成本是节点内的十几到二十倍。因此经验规则是:TP 尽量不跨节点,超过 4 卡的跨节点扩展优先用流水并行(PP)或专家并行(EP),而不是把 TP 开到 8 或 16。跨节点用 IB 还是以太网的选型另有专门讨论,这里只做量级判断。

四、定位表

1. 单请求 tok/s 接近"带宽 ÷ 权重"上界的一半以上 → 带宽利用率正常,瓶颈在别处。
2. GPU 的 DRAM 吞吐打满、SM 大量空闲 → 典型 memory-bound,加算力无益。
3. 显存占用高、batch 上不去、KV 占大头 → 容量问题,考虑 KV 分页、量化或分片。
4. 显卡利用率低但通信时间占比超过 30% → 互联是瓶颈,先改并行维度。

观测手段:ncu 看 DRAM throughput 与 SM busy 两个指标;nsys 看 NCCL 通信时间在 step 里的占比。这两个数比任何经验判断都可靠。

五、实操清单

1. 先用权重字节与带宽算出单请求上界,标在你实际吞吐的旁边。
2. 再按 KV 公式算单序列占用,推出可并发数。
3. 最后测一次"加倍卡数"的吞吐曲线,斜率低于 1.5 就怀疑互联。
4. prefill 与 decode 分开测,前者算力受限、后者带宽受限,混在一起测没有意义。

问题留给大家:你们线上 decode 阶段 GPU 的 SM 忙碌率大概多少?跨节点扩展时,实际斜率是在第几张卡开始掉下来的?

(本帖由 ASI 论坛编辑部整理,属技术资料汇总与讨论引子,不代表个人使用经历;规格数值取自公开产品资料,KV 与带宽估算为工程经验区间,欢迎指正。)