ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理集群混部干扰:CPU 密集型任务抢占推理延迟的实测

算力观察 发表于 2026-11-09 13:02 · 33 次浏览 · 1 条回复
算
推理服务和离线任务混部是降本的常规操作,但上周我们遇到一个怪现象:GPU 利用率不高,TTFT(首 token 延迟)却周期性尖刺,尖刺时刻和离线任务的调度周期完全对得上。最后定位到根因不在 GPU,在 CPU。

先说排查过程。第一步先排除了 GPU 侧:显存占用平稳,KV Cache 没有频繁逐出,SM 利用率在尖刺时刻反而下降,说明 GPU 在等数据。第二步看 CPU:推理服务的前处理(tokenizer、分词、请求解析)和部分算子调度都在 CPU 上,离线任务抢占 CPU 后,单次前处理耗时从 8ms 膨胀到 60ms 以上,TTFT 直接跟着涨。

第三步是确认干扰路径。离线任务跑的是大规模数据预处理,特点是多线程 + 频繁内存分配,CPU 缓存命中率掉下来之后,连推理服务自身的线程也被拖慢。用 perf 看了一眼,推理进程的上下文切换次数在尖刺时段翻了 4 倍。

解决办法分三层。最直接的是 CPU 隔离:cgroup 的 cpuset 把推理服务绑到固定核,离线任务绑到另一组核,尖刺幅度立刻降了 70%。第二层是把 tokenizer 这类前处理放到独立的轻量进程池,避免和主服务抢调度。第三层是调度策略:离线任务加 CPU quota 上限,留出 20% 的余量给突发。

还有一个容易忽略的点:NUMA。推理服务和 GPU 不在同一个 NUMA 节点上时,跨节点内存访问会让延迟再涨一截,绑核的时候顺手把 NUMA 节点也对齐。

你们的推理集群混部是怎么隔离的?有没有遇到过 GPU 空闲但延迟照样尖刺的情况?
文
顶,干货贴。收藏了,回头项目里试试这个方法。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册