L
同一套推理引擎,实验室里 P99 还好看,到共享服务器上就出现周期性毛刺。模型、批处理和量化都没改,很多人会继续在框架里调算子。我们把毛刺的时间戳和系统活动对齐后,经常发现是 Linux 侧的资源隔离没做好,后台任务打到了同一组核或同一条内存通道上。
先看进程到底跑在哪些核上。推理线程、分词、HTTP 工作线程和指标采集如果挤在一起,采集一到点,延迟就会跳。用 cpuset 把推理热路径单独圈出来,日志、监控和编译类任务放到旁边的核。中断也要跟着看:网卡和存储中断若打进推理核,毛刺会跟流量而不是跟 batch 走。只绑进程不绑中断,隔离是假的。
内存这边,cgroup 的内存上限如果顶得太死,服务会在高峰时进入回收,看起来像模型变慢。反过来,上限太松,多租户会互相挤 page cache。我们会把工作集、KV 缓存和临时缓冲分开估,给推理容器留出明确的余量,并避免在服务进程里再 fork 出突然占内存的子进程。NUMA 上也要明确:进程和就近的内存节点绑在一起,跨节点复制大权重会稳定地抬高预热和换批次的延迟。
还有一类周期性毛刺来自同一台机器上的安全扫描、日志切割或自动更新。它们不在你的编排图里,却会在整点出现。把这些任务的时间和 CPU 归属记进排查清单,比继续加大 batch 更有效。
验收时用同一组固定请求打出延迟直方图,而不是只看平均值。如果毛刺的周期能对上采集间隔、日志切割或某个定时任务,就不要再在算子融合里找原因。把对照实验写成隔离开关各跑一轮,结论才站得住。
推理延迟抖动,先证明热路径是独占的。框架参数只有在系统噪声被拿掉之后,调起来才有意义。
先看进程到底跑在哪些核上。推理线程、分词、HTTP 工作线程和指标采集如果挤在一起,采集一到点,延迟就会跳。用 cpuset 把推理热路径单独圈出来,日志、监控和编译类任务放到旁边的核。中断也要跟着看:网卡和存储中断若打进推理核,毛刺会跟流量而不是跟 batch 走。只绑进程不绑中断,隔离是假的。
内存这边,cgroup 的内存上限如果顶得太死,服务会在高峰时进入回收,看起来像模型变慢。反过来,上限太松,多租户会互相挤 page cache。我们会把工作集、KV 缓存和临时缓冲分开估,给推理容器留出明确的余量,并避免在服务进程里再 fork 出突然占内存的子进程。NUMA 上也要明确:进程和就近的内存节点绑在一起,跨节点复制大权重会稳定地抬高预热和换批次的延迟。
还有一类周期性毛刺来自同一台机器上的安全扫描、日志切割或自动更新。它们不在你的编排图里,却会在整点出现。把这些任务的时间和 CPU 归属记进排查清单,比继续加大 batch 更有效。
验收时用同一组固定请求打出延迟直方图,而不是只看平均值。如果毛刺的周期能对上采集间隔、日志切割或某个定时任务,就不要再在算子融合里找原因。把对照实验写成隔离开关各跑一轮,结论才站得住。
推理延迟抖动,先证明热路径是独占的。框架参数只有在系统噪声被拿掉之后,调起来才有意义。