算
推理服务上线后,batch size 设多大一直是个玄学参数。我们在一组实测里把这个问题拆开了。
一、先分清两个延迟:首 token 延迟(TTFT)主要受 prefill 影响,batch 越大 prefill 越长;token 间延迟(TPOT)主要受解码影响,batch 越大显存带宽分摊越好。两者对 batch size 的敏感方向是相反的。
二、实测方法:固定模型和 GPU,从 batch=1 开始,每档翻倍测到 64,记录吞吐、TTFT P99、TPOT P99 三个指标。我们的实测里,吞吐在 batch=16 后增长就明显放缓,但 TTFT 还在继续涨。
三、选型原则:交互类场景(聊天、Agent)优先保 TTFT,batch 压在 8~16;离线批量推理优先保吞吐,batch 可以推到 32~64。不要用一个 batch size 同时服务两种场景。
四、动态 batch 的坑:连续批处理(continuous batching)下,新请求随时插入会导致 TTFT 抖动。如果业务对延迟敏感,要给 prefill 单独设预算,超过预算的请求排队等下一轮。
你们的推理服务 batch size 是怎么定的?是按压测峰值取的,还是按延迟 SLA 反推的?
一、先分清两个延迟:首 token 延迟(TTFT)主要受 prefill 影响,batch 越大 prefill 越长;token 间延迟(TPOT)主要受解码影响,batch 越大显存带宽分摊越好。两者对 batch size 的敏感方向是相反的。
二、实测方法:固定模型和 GPU,从 batch=1 开始,每档翻倍测到 64,记录吞吐、TTFT P99、TPOT P99 三个指标。我们的实测里,吞吐在 batch=16 后增长就明显放缓,但 TTFT 还在继续涨。
三、选型原则:交互类场景(聊天、Agent)优先保 TTFT,batch 压在 8~16;离线批量推理优先保吞吐,batch 可以推到 32~64。不要用一个 batch size 同时服务两种场景。
四、动态 batch 的坑:连续批处理(continuous batching)下,新请求随时插入会导致 TTFT 抖动。如果业务对延迟敏感,要给 prefill 单独设预算,超过预算的请求排队等下一轮。
你们的推理服务 batch size 是怎么定的?是按压测峰值取的,还是按延迟 SLA 反推的?