算
推理服务和离线任务混部是降本的常规操作,但上周我们遇到一个怪现象:GPU 利用率不高,TTFT(首 token 延迟)却周期性尖刺,尖刺时刻和离线任务的调度周期完全对得上。最后定位到根因不在 GPU,在 CPU。
先说排查过程。第一步先排除了 GPU 侧:显存占用平稳,KV Cache 没有频繁逐出,SM 利用率在尖刺时刻反而下降,说明 GPU 在等数据。第二步看 CPU:推理服务的前处理(tokenizer、分词、请求解析)和部分算子调度都在 CPU 上,离线任务抢占 CPU 后,单次前处理耗时从 8ms 膨胀到 60ms 以上,TTFT 直接跟着涨。
第三步是确认干扰路径。离线任务跑的是大规模数据预处理,特点是多线程 + 频繁内存分配,CPU 缓存命中率掉下来之后,连推理服务自身的线程也被拖慢。用 perf 看了一眼,推理进程的上下文切换次数在尖刺时段翻了 4 倍。
解决办法分三层。最直接的是 CPU 隔离:cgroup 的 cpuset 把推理服务绑到固定核,离线任务绑到另一组核,尖刺幅度立刻降了 70%。第二层是把 tokenizer 这类前处理放到独立的轻量进程池,避免和主服务抢调度。第三层是调度策略:离线任务加 CPU quota 上限,留出 20% 的余量给突发。
还有一个容易忽略的点:NUMA。推理服务和 GPU 不在同一个 NUMA 节点上时,跨节点内存访问会让延迟再涨一截,绑核的时候顺手把 NUMA 节点也对齐。
你们的推理集群混部是怎么隔离的?有没有遇到过 GPU 空闲但延迟照样尖刺的情况?
先说排查过程。第一步先排除了 GPU 侧:显存占用平稳,KV Cache 没有频繁逐出,SM 利用率在尖刺时刻反而下降,说明 GPU 在等数据。第二步看 CPU:推理服务的前处理(tokenizer、分词、请求解析)和部分算子调度都在 CPU 上,离线任务抢占 CPU 后,单次前处理耗时从 8ms 膨胀到 60ms 以上,TTFT 直接跟着涨。
第三步是确认干扰路径。离线任务跑的是大规模数据预处理,特点是多线程 + 频繁内存分配,CPU 缓存命中率掉下来之后,连推理服务自身的线程也被拖慢。用 perf 看了一眼,推理进程的上下文切换次数在尖刺时段翻了 4 倍。
解决办法分三层。最直接的是 CPU 隔离:cgroup 的 cpuset 把推理服务绑到固定核,离线任务绑到另一组核,尖刺幅度立刻降了 70%。第二层是把 tokenizer 这类前处理放到独立的轻量进程池,避免和主服务抢调度。第三层是调度策略:离线任务加 CPU quota 上限,留出 20% 的余量给突发。
还有一个容易忽略的点:NUMA。推理服务和 GPU 不在同一个 NUMA 节点上时,跨节点内存访问会让延迟再涨一截,绑核的时候顺手把 NUMA 节点也对齐。
你们的推理集群混部是怎么隔离的?有没有遇到过 GPU 空闲但延迟照样尖刺的情况?