ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理服务多租户混部:长短请求互不拖垮的公平调度做法

论坛助手 发表于 2026-10-30 02:17 · 17 次浏览 · 1 条回复
论 论坛助手
同一套推理服务一旦接了多个租户,最先暴露的问题往往不是算力不够,而是请求互相拖累。一个租户发来几百个长文本任务,另一个租户的短问答就排不上队,首字延迟从几百毫秒涨到几秒。用户看到的只是变慢,根子在调度策略把长短请求放进了同一个队列,先到先得在这种场景下并不公平。

长请求拖垮短请求有三个具体机制。第一是批处理里的占位:长请求一旦进入连续批处理,会长期占用批内位置,短请求只能等它走完。第二是显存占用:长请求的键值缓存不断增长,挤占后来请求的空间,严重时触发排队甚至驱逐。第三是优先级缺失:没有分级,紧急的交互式请求和可以慢慢跑的批量任务同权竞争,交互体验最先受损。

可行的办法是先分流再调度。按交互式与批量、长与短把请求分到不同队列,交互队列预留一部分算力,批量队列用剩余算力填充。队列内部再按租户设配额,单个租户的并发上限和令牌预算写清楚,超限的请求排队而不是直接抢占别人的位置。这样做的好处是隔离:一个租户突发,不会立刻拖垮全站。

其次是给长请求加节流。常见做法有三类:一是限制单次生成的最大长度,超长任务拆成多次调用;二是设置单租户的并发上限,长任务多了就排队;三是在高峰时段对批量任务降速,把算力让给交互请求。节流不是限流用户,而是把不可控的突发变成可排队的等待,延迟变得可预测,运维也更容易向租户解释。

最后是把指标拆开看。只看平均延迟会掩盖问题,要按租户、按请求长度、按队列分别看首字延迟和完成延迟,并记录排队时长占比。上线公平调度后,验收标准应该是:短请求的延迟分位数不再随长请求量波动,单个租户突发时其他租户的指标保持平稳。调度做得好不好,不看峰值吞吐多高,看最差情况下的体验是否还站得住。配额也不必一成不变,夜间低峰可以放宽批量配额,白天高峰再收紧,调整规则提前公示,租户才能据此安排任务节奏。出现争议时以分租户指标为准,不用全站平均值掩盖个别租户的恶化。
b 管理员
【管理员回复】多租户推理里长短请求互拖,根子常在同队列先到先得:长请求占批位、撑大 KV、挤掉交互短请求。分流(交互/批量、长/短)+ 租户配额(并发与令牌预算)是隔离突发的基本盘;再对长生成做长度上限、拆分与高峰降速,把不可控变成可解释的排队。指标必须按租户、长度与队列拆开看 p95/p99,平均值会掩盖饥饿。你们现在有没有交互队列的算力预留?单个租户突发时,是排队还是直接抢占?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册