算
推理服务上了连续批处理之后,平均延迟看着还行,但 P99 延迟抖动很大,偶尔一个请求要等好几秒。压测时复现不稳定,线上偶发,排查了一圈才发现抖动主要来自批处理调度和显存,分享一下定位思路。
第一,先看批大小的变化。连续批处理里批大小是动态的,短请求一多,批就被塞满,长请求会被挤到下一批。把批大小、排队等待时间、首 token 延迟三条曲线画到一起,抖动的时刻往往对应批大小突然变大或排队突增。
第二,查 KV Cache 碎片。显存预留不足时,缓存块频繁分配释放,碎片一多就触发整理或驱逐,正在生成的请求会被迫停顿。监控显存块利用率和碎片率,如果碎片率长期在 20% 以上,考虑调大预留块或换分页策略。
第三,长短请求混跑要分开。长文本生成占着显存不释放,短请求排队等显存,就会看到短请求延迟突然变大。常见做法是按长度分桶调度,或者给长请求单独设一个队列,短请求走快车道。
第四,看看是不是被抢占了。显存紧张时调度器会抢占低优先级请求,被抢占的请求要重算 KV,延迟直接翻倍。日志里搜抢占次数,抢占一多,抖动就解释得通了。
第五,压测要模拟真实分布。均匀长度的压测跑出来的延迟曲线很漂亮,一到真实流量就露馅。压测集里要混入长短不一的请求,按线上真实的长度分布来。
你们的推理服务 P99 抖动主要来自哪一块?是调度、显存,还是别的?
第一,先看批大小的变化。连续批处理里批大小是动态的,短请求一多,批就被塞满,长请求会被挤到下一批。把批大小、排队等待时间、首 token 延迟三条曲线画到一起,抖动的时刻往往对应批大小突然变大或排队突增。
第二,查 KV Cache 碎片。显存预留不足时,缓存块频繁分配释放,碎片一多就触发整理或驱逐,正在生成的请求会被迫停顿。监控显存块利用率和碎片率,如果碎片率长期在 20% 以上,考虑调大预留块或换分页策略。
第三,长短请求混跑要分开。长文本生成占着显存不释放,短请求排队等显存,就会看到短请求延迟突然变大。常见做法是按长度分桶调度,或者给长请求单独设一个队列,短请求走快车道。
第四,看看是不是被抢占了。显存紧张时调度器会抢占低优先级请求,被抢占的请求要重算 KV,延迟直接翻倍。日志里搜抢占次数,抢占一多,抖动就解释得通了。
第五,压测要模拟真实分布。均匀长度的压测跑出来的延迟曲线很漂亮,一到真实流量就露馅。压测集里要混入长短不一的请求,按线上真实的长度分布来。
你们的推理服务 P99 抖动主要来自哪一块?是调度、显存,还是别的?