ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型推理批量请求延迟抖动?从连续批处理到显存预留的排查

算力观察 发表于 2026-11-19 13:03 · 29 次浏览 · 3 条回复
算
推理服务上了连续批处理之后,平均延迟看着还行,但 P99 延迟抖动很大,偶尔一个请求要等好几秒。压测时复现不稳定,线上偶发,排查了一圈才发现抖动主要来自批处理调度和显存,分享一下定位思路。
第一,先看批大小的变化。连续批处理里批大小是动态的,短请求一多,批就被塞满,长请求会被挤到下一批。把批大小、排队等待时间、首 token 延迟三条曲线画到一起,抖动的时刻往往对应批大小突然变大或排队突增。
第二,查 KV Cache 碎片。显存预留不足时,缓存块频繁分配释放,碎片一多就触发整理或驱逐,正在生成的请求会被迫停顿。监控显存块利用率和碎片率,如果碎片率长期在 20% 以上,考虑调大预留块或换分页策略。
第三,长短请求混跑要分开。长文本生成占着显存不释放,短请求排队等显存,就会看到短请求延迟突然变大。常见做法是按长度分桶调度,或者给长请求单独设一个队列,短请求走快车道。
第四,看看是不是被抢占了。显存紧张时调度器会抢占低优先级请求,被抢占的请求要重算 KV,延迟直接翻倍。日志里搜抢占次数,抢占一多,抖动就解释得通了。
第五,压测要模拟真实分布。均匀长度的压测跑出来的延迟曲线很漂亮,一到真实流量就露馅。压测集里要混入长短不一的请求,按线上真实的长度分布来。
你们的推理服务 P99 抖动主要来自哪一块?是调度、显存,还是别的?
m
补一个更省事的切入点:先按抖动的时间尺度分层,再决定查哪一段,不要一上来就翻批处理代码。

一、把单请求延迟拆成三段
在服务端给每个请求打四个时间戳:入队、prefill 开始、prefill 结束、末 token。三段分别是 queue_wait(排队)、prefill(首 token 计算)、decode(逐 token)。只看总延迟 P99 是没有信息量的,因为三段的责任人完全不同:queue_wait 属调度,prefill 属算力与批组成,decode 属显存带宽与 KV 读取。

一个可用的采集办法:采样 5% 请求打全量时间戳,其余只记总延迟;每 10 秒聚合一次三段的 P50/P99。抖动在哪一段的 P99 抬高,就查那一段。

二、抖动尺度与对应故障
- 微秒到毫秒(P99 比 P50 高 1~20 ms):kernel 启动开销、小 batch 下的 GEMM 形状碎片、CPU 侧同步。判据是 TPOT 的 P99/P50 比值在 1.05~1.2 之间。
- 几十到几百毫秒(1.5~3 倍):批形成。典型是长请求被后来的短请求"插队"导致批被拆,或 chunked prefill 的块太大(常见配 512~1024 token),一个块占满一次迭代,正在 decode 的请求被挤掉一拍。判据:queue_wait 的 P99 抬升而 prefill 的 P99 基本不变。
- 秒级(>5 倍,偶发几秒):前缀缓存失效、KV 驱逐与换页、显存整理、或 CPU 侧 tokenize/后处理阻塞。判据:decode 段出现"平白停顿 X 秒",且停顿时刻与缓存命中率陡降或显存块申请失败对齐。

三、两个能直接做的对照实验
1. 固定 chunked prefill 的块大小(512),把 max_num_batched_tokens 也固定,再压测。如果 P99 明显收敛,问题就在自适应批;如果不变,说明在显存侧。
2. 用同一组请求、同一随机种子跑两遍,只改 KV 预留比例(如 0.85 与 0.92)。碎片率与 P99 的变化能直接告诉你预留够不够——这一步比调调度参数更快出结论。

四、常见误判
- 把 P99 抖动归因于"模型本身不稳定"。模型是确定性的(同一输入、贪心解码),抖动几乎一定来自调度或显存,除非采样参数在变。
- 用平均吞吐证明服务健康。吞吐与尾延迟可以同时"正常"和"很糟",两者不是一回事:把 batch 塞满能拉高吞吐,同时把 P99 推到几秒。
- 只看 GPU 利用率。90% 的利用率既可能是高效,也可能是排队;要配合 queue_wait 一起看。

五、一个容易忽略的输入侧因素
线上 P99 里常混进客户端因素:连接复用、TLS 握手、请求体大导致的网络分片,都会表现为"首 token 慢"。分流办法是对比"服务端 prefill 开始时间"与"客户端发出时间",差值超过 50 ms 就先查网络与网关,别改推理引擎。

问题:你们的 P99 抖动是集中在 queue_wait,还是集中在 decode 的偶发停顿?这两个的修法完全不同——前者调调度与 chunk,后者要动显存分配与缓存策略。

(利益披露:我们做推理侧的光互连与算力集群配套,产品线见 fiberdo.com。)
A
如果部署在 ARM 边缘盒或异构 SoC,建议把主机侧也纳入分段时间线:除 queue/prefill/decode 外,记录 tokenization、DMA-BUF/零拷贝等待、NPU/GPU 提交与同步时间。端侧常见的“加速器利用率不高但 P99 突刺”其实是 CPU 被 cgroup 限频、内存 PSI/回收或热降频卡住。可在同一请求回放下并行采集 cpu.stat、PSI、major faults、devfreq 频率和每段单调时钟;若突刺与主机 stall 对齐,调 KV 预留未必有效。尤其要避免把 pinned buffer 配得过大,和推理缓存争抢统一内存。
算
@marcuslin 按三段拆分后看,我们这边抖动主要集中在 queue_wait,decode 偶发停顿是少数但幅度更大。queue_wait 的 P99 抬高时往往对应批大小突增和长请求占位,固定 chunked prefill 块大小、按长度分桶后收敛明显;decode 停顿那几例则对应 KV 驱逐和前缀缓存命中率陡降,调大预留、减少抢占后基本消失。@ARM_Linux_Lee 边缘侧的补充很关键,主机侧 tokenization 和 DMA 等待确实容易被忽略,尤其 CPU 被 cgroup 限额或热降频时,GPU 空闲但端到端 P99 照样突刺。后续我会把 cpu.stat、PSI 和每段单调时钟也纳入同一条时间线,和 GPU 侧 stall 对齐再定位。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册