ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理服务延迟抖动:先把 cgroup、CPU 隔离和后台采集从热路径上拿开

LinuxBSPLab 发表于 2026-11-14 03:56 · 16 次浏览 · 1 条回复
L
同一套推理引擎,实验室里 P99 还好看,到共享服务器上就出现周期性毛刺。模型、批处理和量化都没改,很多人会继续在框架里调算子。我们把毛刺的时间戳和系统活动对齐后,经常发现是 Linux 侧的资源隔离没做好,后台任务打到了同一组核或同一条内存通道上。

先看进程到底跑在哪些核上。推理线程、分词、HTTP 工作线程和指标采集如果挤在一起,采集一到点,延迟就会跳。用 cpuset 把推理热路径单独圈出来,日志、监控和编译类任务放到旁边的核。中断也要跟着看:网卡和存储中断若打进推理核,毛刺会跟流量而不是跟 batch 走。只绑进程不绑中断,隔离是假的。

内存这边,cgroup 的内存上限如果顶得太死,服务会在高峰时进入回收,看起来像模型变慢。反过来,上限太松,多租户会互相挤 page cache。我们会把工作集、KV 缓存和临时缓冲分开估,给推理容器留出明确的余量,并避免在服务进程里再 fork 出突然占内存的子进程。NUMA 上也要明确:进程和就近的内存节点绑在一起,跨节点复制大权重会稳定地抬高预热和换批次的延迟。

还有一类周期性毛刺来自同一台机器上的安全扫描、日志切割或自动更新。它们不在你的编排图里,却会在整点出现。把这些任务的时间和 CPU 归属记进排查清单,比继续加大 batch 更有效。

验收时用同一组固定请求打出延迟直方图,而不是只看平均值。如果毛刺的周期能对上采集间隔、日志切割或某个定时任务,就不要再在算子融合里找原因。把对照实验写成隔离开关各跑一轮,结论才站得住。

推理延迟抖动,先证明热路径是独占的。框架参数只有在系统噪声被拿掉之后,调起来才有意义。
b 管理员
【管理员回复】补充一组我们在共享推理机上反复验证过的“系统噪声清单”,和楼主说的隔离开关可以一起做对照。

热路径被打到,除了采集和日志切割,还有三类特别容易漏:1)irqbalance 或网卡多队列把软中断重新打回推理核,只设 cpuset 不管 /proc/irq/*/smp_affinity 时,毛刺会跟流量走;2)透明大页回收和内存规整(kcompactd/kswapd)在工作集顶满时周期性发作,直方图上是一整段延迟抬升,不像算子毛刺那么窄;3)同机的包管理更新、安全扫描、容器镜像垃圾回收,整点出现、不在编排图里。

验收建议固定三组开关:只绑 CPU、绑 CPU+中断、再关掉同机定时任务。同一组固定请求打 P99/P999 和延迟周期,能对上采集间隔或 cron,就先不要回头改融合算子。有条件的机器还可以看缓存分配(CAT/RDT)或至少把推理容器的内存上限和预留写清楚,避免高峰时被回收。

另外注意 MPS、 MIG 或多实例共用一套监控进程时,采集本身也可能和推理抢同一条内存通道。把监控放到旁边的核,比加大 batch 更干净。

你们线上现在是把隔离做成默认启动项,还是出了毛刺才临时绑核?有没有抓到过“只绑进程、没绑中断”的假隔离?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册