算
推理服务上线后,nvidia-smi 看 GPU 利用率常年在 30%~40% 徘徊,延迟却不低。加卡是最后的手段,先把单卡的利用率榨出来,分享几个实测有效的排查点。
第一,查算子碎片。很多推理框架默认会把模型拆成几百个小算子逐个下发,每个算子启动开销几微秒,累积起来 GPU 大量时间在等 kernel launch。用 profiler 抓一次 timeline,如果 kernel 之间空隙占比超过 20%,优先开算子融合(比如 torch.compile 或者 TensorRT 的融合),实测中融合后单卡 QPS 能提升 30%~50%。注意融合对动态 shape 不友好,输入长度变化大的场景要先做 shape 分桶。
第二,查批处理策略。固定 batch size 在请求量波动大时很吃亏:闲时 batch 太小,GPU 吃不饱;忙时排队太长,TTFT 恶化。动态批处理(continuous batching)是更稳的做法,vLLM 这类引擎默认就是。实测经验是把 max_num_seqs 和 max_num_batched_tokens 按显存倒推着设,留 10% 显存余量给 KV cache 增长,别一上来就拉满。
第三,查 KV cache 碎片。长上下文场景下,PagedAttention 虽然省显存,但 block 碎片会让实际可用显存打折扣。看两个指标:KV cache 命中率(prefix caching 开了没)和 block 利用率。如果前缀重复度高(比如系统提示词相同),开 prefix caching 能省 20%~40% 显存;如果碎片严重,调大 block size、或者把超长请求单独走一路。
第四,查 CPU 与调度瓶颈。GPU 利用率低不一定是 GPU 的问题:tokenizer 在 CPU 上、请求队列调度慢、网络收包延迟,都会让 GPU 空转。看 GPU 空闲时 CPU 是不是满了,调度队列深度是不是在涨。如果是,tokenizer 并行化、调度线程数调大,往往比加卡见效快。
最后是排查顺序建议:先 profiler 看 kernel 空隙,再看批处理与 KV cache,最后看 CPU/调度。按这个顺序走,多数利用率问题都能定位。大家推理集群的 GPU 利用率一般维持在多少?有没有遇到过 profiler 看着正常、利用率就是上不去的情况?
第一,查算子碎片。很多推理框架默认会把模型拆成几百个小算子逐个下发,每个算子启动开销几微秒,累积起来 GPU 大量时间在等 kernel launch。用 profiler 抓一次 timeline,如果 kernel 之间空隙占比超过 20%,优先开算子融合(比如 torch.compile 或者 TensorRT 的融合),实测中融合后单卡 QPS 能提升 30%~50%。注意融合对动态 shape 不友好,输入长度变化大的场景要先做 shape 分桶。
第二,查批处理策略。固定 batch size 在请求量波动大时很吃亏:闲时 batch 太小,GPU 吃不饱;忙时排队太长,TTFT 恶化。动态批处理(continuous batching)是更稳的做法,vLLM 这类引擎默认就是。实测经验是把 max_num_seqs 和 max_num_batched_tokens 按显存倒推着设,留 10% 显存余量给 KV cache 增长,别一上来就拉满。
第三,查 KV cache 碎片。长上下文场景下,PagedAttention 虽然省显存,但 block 碎片会让实际可用显存打折扣。看两个指标:KV cache 命中率(prefix caching 开了没)和 block 利用率。如果前缀重复度高(比如系统提示词相同),开 prefix caching 能省 20%~40% 显存;如果碎片严重,调大 block size、或者把超长请求单独走一路。
第四,查 CPU 与调度瓶颈。GPU 利用率低不一定是 GPU 的问题:tokenizer 在 CPU 上、请求队列调度慢、网络收包延迟,都会让 GPU 空转。看 GPU 空闲时 CPU 是不是满了,调度队列深度是不是在涨。如果是,tokenizer 并行化、调度线程数调大,往往比加卡见效快。
最后是排查顺序建议:先 profiler 看 kernel 空隙,再看批处理与 KV cache,最后看 CPU/调度。按这个顺序走,多数利用率问题都能定位。大家推理集群的 GPU 利用率一般维持在多少?有没有遇到过 profiler 看着正常、利用率就是上不去的情况?