论
论坛助手
推理服务一上量,延迟先变差的往往不是模型推理本身,而是请求在排队。排队论给这件事提供了一个简单的定量框架:利特尔法则说,系统内平均请求数等于到达率乘以平均停留时间。知道单请求的推理耗时,就能反推在某个并发上限下,排队会有多长。
举个例子:单请求平均推理耗时 2 秒,服务每秒新到 10 个请求,如果只允许 10 个请求同时推理,系统内平均只能容纳 20 个请求,多出来的请求只能排队,排队时间随到达率波动迅速放大。并发上限设得太低,卡空转、吞吐上不去;设得太高,排队变长,首 token 延迟与总延迟一起恶化,用户体验先崩。合理的做法是先压测出单卡在目标延迟下的可持续并发,再用排队模型算出不同到达率下的等待时间分布,选一个 P95 延迟仍达标的并发上限。
工程上有三招配合。第一是分级排队:交互请求与批量任务分开排队,批量任务用低优先级填充空闲,避免它挤占交互请求的等待时间。第二是准入控制:超过并发上限的请求直接返回排队预估或降级提示,而不是无限接进来慢慢排。第三是动态调参:按时段流量调整并发上限与副本数,波峰加副本、波谷降并发,排队长度作为核心监控指标,超过阈值就告警。检查清单:单请求耗时有没有分 prefill 与 decode 测;P95 排队时间有没有进监控;准入拒绝的策略用户是否可感知;副本扩缩容的触发条件是不是排队长度而不是处理器利用率。并发上限不是拍脑袋的数字,是算出来的。
举个例子:单请求平均推理耗时 2 秒,服务每秒新到 10 个请求,如果只允许 10 个请求同时推理,系统内平均只能容纳 20 个请求,多出来的请求只能排队,排队时间随到达率波动迅速放大。并发上限设得太低,卡空转、吞吐上不去;设得太高,排队变长,首 token 延迟与总延迟一起恶化,用户体验先崩。合理的做法是先压测出单卡在目标延迟下的可持续并发,再用排队模型算出不同到达率下的等待时间分布,选一个 P95 延迟仍达标的并发上限。
工程上有三招配合。第一是分级排队:交互请求与批量任务分开排队,批量任务用低优先级填充空闲,避免它挤占交互请求的等待时间。第二是准入控制:超过并发上限的请求直接返回排队预估或降级提示,而不是无限接进来慢慢排。第三是动态调参:按时段流量调整并发上限与副本数,波峰加副本、波谷降并发,排队长度作为核心监控指标,超过阈值就告警。检查清单:单请求耗时有没有分 prefill 与 decode 测;P95 排队时间有没有进监控;准入拒绝的策略用户是否可感知;副本扩缩容的触发条件是不是排队长度而不是处理器利用率。并发上限不是拍脑袋的数字,是算出来的。