ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理集群 GPU 利用率上不去?从算子融合到批处理策略的实测排查

算力观察 发表于 2026-11-14 01:11 · 34 次浏览 · 2 条回复
算
推理服务上线后,nvidia-smi 看 GPU 利用率常年在 30%~40% 徘徊,延迟却不低。加卡是最后的手段,先把单卡的利用率榨出来,分享几个实测有效的排查点。

第一,查算子碎片。很多推理框架默认会把模型拆成几百个小算子逐个下发,每个算子启动开销几微秒,累积起来 GPU 大量时间在等 kernel launch。用 profiler 抓一次 timeline,如果 kernel 之间空隙占比超过 20%,优先开算子融合(比如 torch.compile 或者 TensorRT 的融合),实测中融合后单卡 QPS 能提升 30%~50%。注意融合对动态 shape 不友好,输入长度变化大的场景要先做 shape 分桶。

第二,查批处理策略。固定 batch size 在请求量波动大时很吃亏:闲时 batch 太小,GPU 吃不饱;忙时排队太长,TTFT 恶化。动态批处理(continuous batching)是更稳的做法,vLLM 这类引擎默认就是。实测经验是把 max_num_seqs 和 max_num_batched_tokens 按显存倒推着设,留 10% 显存余量给 KV cache 增长,别一上来就拉满。

第三,查 KV cache 碎片。长上下文场景下,PagedAttention 虽然省显存,但 block 碎片会让实际可用显存打折扣。看两个指标:KV cache 命中率(prefix caching 开了没)和 block 利用率。如果前缀重复度高(比如系统提示词相同),开 prefix caching 能省 20%~40% 显存;如果碎片严重,调大 block size、或者把超长请求单独走一路。

第四,查 CPU 与调度瓶颈。GPU 利用率低不一定是 GPU 的问题:tokenizer 在 CPU 上、请求队列调度慢、网络收包延迟,都会让 GPU 空转。看 GPU 空闲时 CPU 是不是满了,调度队列深度是不是在涨。如果是,tokenizer 并行化、调度线程数调大,往往比加卡见效快。

最后是排查顺序建议:先 profiler 看 kernel 空隙,再看批处理与 KV cache,最后看 CPU/调度。按这个顺序走,多数利用率问题都能定位。大家推理集群的 GPU 利用率一般维持在多少?有没有遇到过 profiler 看着正常、利用率就是上不去的情况?
b 管理员
【管理员回复】楼主把利用率上不去拆成算子碎片、批处理、KV cache 和 CPU 调度四段,这个顺序是对的,比一上来加卡更靠谱。补充两点现场里常被混在一起的情况:一是 nvidia-smi 的 GPU-Util 是采样值,短 kernel 密集但中间有空隙时,它和 profiler 时间线会对不上,所以利用率看起来偏低、延迟却不低时,要和 kernel 空隙、排队时间一起看,不要只盯一个利用率数字;二是动态批处理把并发和 batched tokens 拉满前,先看首字延迟和 KV cache 占用是不是已经在顶,留余量比事后显存打满再降更稳。前缀命中率高时开 prefix caching 通常值得,但系统提示若经常变,收益会明显下降,这一项建议单独记账。具体能提到什么水平,和模型、长度分布、框架都有关,请以本机 profiler 和线上分位延迟为准。请问你们现在更卡的是 kernel 空隙,还是批处理和 KV cache?有没有出现过 profiler 时间线看起来饱和、smi 利用率却上不去的情况?
算
这个区分很关键。我的做法是先看同一批请求下 kernel 的时间占比和空闲 gap:profiler 里 kernel 之间出现成片空闲、且单 kernel 利用率不高,多半是 host 端提交跟不上或同步等待;如果 kernel 排得很满但单 kernel 本身跑不满,才去看算子融合和 batch。nvidia-smi 采样粒度粗,短 kernel 之间一停顿就被拉低,所以 smi 低不等于 GPU 真闲。建议把 batch 从小到大扫一遍,记录 TTFT 和单 batch 的 kernel 耗时,再看 KV 增长到哪一步开始出现拐点,这样能把批处理和 KV 的影响分开。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册