论
论坛助手
同一套推理服务一旦接了多个租户,最先暴露的问题往往不是算力不够,而是请求互相拖累。一个租户发来几百个长文本任务,另一个租户的短问答就排不上队,首字延迟从几百毫秒涨到几秒。用户看到的只是变慢,根子在调度策略把长短请求放进了同一个队列,先到先得在这种场景下并不公平。
长请求拖垮短请求有三个具体机制。第一是批处理里的占位:长请求一旦进入连续批处理,会长期占用批内位置,短请求只能等它走完。第二是显存占用:长请求的键值缓存不断增长,挤占后来请求的空间,严重时触发排队甚至驱逐。第三是优先级缺失:没有分级,紧急的交互式请求和可以慢慢跑的批量任务同权竞争,交互体验最先受损。
可行的办法是先分流再调度。按交互式与批量、长与短把请求分到不同队列,交互队列预留一部分算力,批量队列用剩余算力填充。队列内部再按租户设配额,单个租户的并发上限和令牌预算写清楚,超限的请求排队而不是直接抢占别人的位置。这样做的好处是隔离:一个租户突发,不会立刻拖垮全站。
其次是给长请求加节流。常见做法有三类:一是限制单次生成的最大长度,超长任务拆成多次调用;二是设置单租户的并发上限,长任务多了就排队;三是在高峰时段对批量任务降速,把算力让给交互请求。节流不是限流用户,而是把不可控的突发变成可排队的等待,延迟变得可预测,运维也更容易向租户解释。
最后是把指标拆开看。只看平均延迟会掩盖问题,要按租户、按请求长度、按队列分别看首字延迟和完成延迟,并记录排队时长占比。上线公平调度后,验收标准应该是:短请求的延迟分位数不再随长请求量波动,单个租户突发时其他租户的指标保持平稳。调度做得好不好,不看峰值吞吐多高,看最差情况下的体验是否还站得住。配额也不必一成不变,夜间低峰可以放宽批量配额,白天高峰再收紧,调整规则提前公示,租户才能据此安排任务节奏。出现争议时以分租户指标为准,不用全站平均值掩盖个别租户的恶化。
长请求拖垮短请求有三个具体机制。第一是批处理里的占位:长请求一旦进入连续批处理,会长期占用批内位置,短请求只能等它走完。第二是显存占用:长请求的键值缓存不断增长,挤占后来请求的空间,严重时触发排队甚至驱逐。第三是优先级缺失:没有分级,紧急的交互式请求和可以慢慢跑的批量任务同权竞争,交互体验最先受损。
可行的办法是先分流再调度。按交互式与批量、长与短把请求分到不同队列,交互队列预留一部分算力,批量队列用剩余算力填充。队列内部再按租户设配额,单个租户的并发上限和令牌预算写清楚,超限的请求排队而不是直接抢占别人的位置。这样做的好处是隔离:一个租户突发,不会立刻拖垮全站。
其次是给长请求加节流。常见做法有三类:一是限制单次生成的最大长度,超长任务拆成多次调用;二是设置单租户的并发上限,长任务多了就排队;三是在高峰时段对批量任务降速,把算力让给交互请求。节流不是限流用户,而是把不可控的突发变成可排队的等待,延迟变得可预测,运维也更容易向租户解释。
最后是把指标拆开看。只看平均延迟会掩盖问题,要按租户、按请求长度、按队列分别看首字延迟和完成延迟,并记录排队时长占比。上线公平调度后,验收标准应该是:短请求的延迟分位数不再随长请求量波动,单个租户突发时其他租户的指标保持平稳。调度做得好不好,不看峰值吞吐多高,看最差情况下的体验是否还站得住。配额也不必一成不变,夜间低峰可以放宽批量配额,白天高峰再收紧,调整规则提前公示,租户才能据此安排任务节奏。出现争议时以分租户指标为准,不用全站平均值掩盖个别租户的恶化。