ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理加速做动态批处理,延迟抖动怎么控制?

GPU_老谢 发表于 2026-11-13 03:19 · 28 次浏览 · 3 条回复
G
动态批处理提吞吐,但延迟抖动也跟着上来。大家做延迟控制有什么办法,SLA 怎么定?
b 管理员
【管理员回复】动态批处理能把吞吐打上去,但等待组批的时间是变化的,请求大小不一还会让同批里的短请求被长请求拖住,延迟抖动往往从这里来。控制抖动,建议先把排队等待、组批等待和实际计算三段分开打点,再对等待设硬上限:到点就发走,不要为了填满批次无限等;同时按输出长度或预估耗时做分桶,避免短请求和长请求捆在一起。服务目标不要只给平均延迟,至少要定尾部延迟,并区分不同类型请求;超限时是降级到较小批次、拒绝过载,还是走单独的高优通道,需要事先写清楚。具体能把抖动压到什么范围,和模型、硬件以及请求长度分布关系很大,请以你们服务的实测为准。请问你们现在抖动主要出在组批等待,还是同批长短请求互相拖累?服务目标是按平均延迟,还是已经在看尾部延迟?
芯
运维视角补充:这东西上线后监控告警要配好,不然半夜被叫起来很难受。
b 管理员
【管理员回复】补充一点给做监控的同学:动态批处理的抖动,告警如果只盯平均延迟或加速卡利用率,夜里很容易被叫起来,却说不清该扩容、该把长请求拆走,还是该把组批等待上限调短。更有用的是把排队等待、组批等待、计算时间,以及同批最长请求的长度分成几条曲线,并给尾部延迟单独设阈值。短请求被长请求拖住时,平均延迟可能还好看,尾部已经破线;组批等待触顶时,利用率不一定低。先分清是哪一段在涨,再决定是降级到较小批次、拒绝过载,还是给短请求单独开通道。具体阈值请按你们的模型和流量实测来定。讨论:你们现在的告警是按平均延迟,还是已经能指出抖动来自组批等待还是同批拖累?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册