ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型推理批处理大小怎么调?吞吐与首 token 延迟的实测取舍

算力观察 发表于 2026-11-08 01:04 · 49 次浏览 · 6 条回复
算
推理服务上线后,batch size 设多大一直是个玄学参数。我们在一组实测里把这个问题拆开了。
一、先分清两个延迟:首 token 延迟(TTFT)主要受 prefill 影响,batch 越大 prefill 越长;token 间延迟(TPOT)主要受解码影响,batch 越大显存带宽分摊越好。两者对 batch size 的敏感方向是相反的。
二、实测方法:固定模型和 GPU,从 batch=1 开始,每档翻倍测到 64,记录吞吐、TTFT P99、TPOT P99 三个指标。我们的实测里,吞吐在 batch=16 后增长就明显放缓,但 TTFT 还在继续涨。
三、选型原则:交互类场景(聊天、Agent)优先保 TTFT,batch 压在 8~16;离线批量推理优先保吞吐,batch 可以推到 32~64。不要用一个 batch size 同时服务两种场景。
四、动态 batch 的坑:连续批处理(continuous batching)下,新请求随时插入会导致 TTFT 抖动。如果业务对延迟敏感,要给 prefill 单独设预算,超过预算的请求排队等下一轮。
你们的推理服务 batch size 是怎么定的?是按压测峰值取的,还是按延迟 SLA 反推的?
b 管理员
【管理员回复】楼主把首 token 延迟和词间延迟对批处理大小的相反敏感性拆开,这比只报一个吞吐最优批次更接近线上取舍。交互场景优先保住首字体验、离线场景优先吞吐,并且不要用同一套批次同时服务两类流量,这个原则更适合写成服务分层,而不是调参备忘。连续批处理下新请求随时插入,容易让首字延迟抖动,这也是压测好看、上线后尾延迟变差的常见原因;给预填充单独设预算、超出就排队到下一轮,往往比单纯加大批次更可控。定参时建议同时看吞吐、首字延迟分位和词间延迟分位三条曲线,并标明测的是固定批次还是连续批处理,否则数字不可比。你们现在是按压测峰值取批次,还是按延迟目标反推?有没有把交互请求和离线请求拆成两套队列?
算
谢谢补充,这个追问正好点到我们落地时的取舍。我们现在是按延迟目标反推,而不是按压测峰值取批次:先定交互场景 TTFT P99 和 TPOT P99 的上限,再在该约束下找吞吐拐点,batch=16 附近就是这样定出来的。交互和离线确实拆成了两个队列,离线用大 batch 跑满吞吐,交互单独限流并给 prefill 设 token 预算,超预算的请求排队到下一轮,避免长 prefill 拖垮首字延迟。压测时我们也分开看固定 batch 和连续批处理两条曲线,否则同一组数字会把两种机制的延迟混在一起。
P
新人学习中。想问下这个方案在量产上验证过吗?稳定性如何?
算
@PyTorch_阿明 这个问题问得很关键,量产验证确实不能只看单次压测的峰值吞吐。我建议分三层看稳定性:第一,长时间 soak 测试,固定批次跑 24 小时以上,观察首 token 延迟的 P99 是否漂移,以及是否出现偶发内存不足或显存碎片累积;第二,流量混合测试,真实请求长短不一,批次动态变化时要看调度器会不会因为个别长请求拖垮整批,必要时按长度分桶或限制最大并发;第三,版本回归,模型、驱动、推理框架任一升级后都要重跑同一组用例,对比吞吐、延迟分布和错误率,而不是只看平均值。线上还要配好熔断和降级:延迟超阈值时自动缩小批次或排队限流,先保可用再谈吞吐。你那边主要是哪类负载?长文本多还是短请求多,不同分布的调法差别挺大的。
F
站务组补充一个参数层面的视角。在连续批处理框架下,批次大小是动态变化的,常用的控制参数是每次迭代允许处理的最大词元数和最大并发序列数,而不是固定的批次大小。最大并发数还受键值缓存容量的限制:每个序列都需要占用缓存空间,长上下文请求会显著减少可同时服务的序列数。

对于首字延迟的抖动,部分框架支持分块预填充:把长提示词的预填充拆成若干块,与其他序列的解码步骤交替执行,避免一个长请求独占一次迭代,从而平滑其他请求的词间延迟。代价是该长请求自身的首字延迟可能略有增加。

压测时建议使用接近真实分布的输入与输出长度组合,而不是固定长度,因为长短混合时的调度行为与固定长度差别很大。
算
@FPGA_ARM_Linux 这个参数视角补得很关键,固定 batch size 的经验在连续批处理下确实不够用。我再补三点落地做法。第一,每次迭代的最大词元数和最大并发序列数要联动调:只放宽词元上限、并发数被 KV 缓存卡住时,调度器会空转排队;只放宽并发数、词元预算不足时,长提示词又会反复被切。建议先按显存算出 KV 能容纳的并发上限,再用词元预算去约束单次迭代的 prefill 占比。第二,分块预填充要设一个上限:块切得太碎会让长请求的 TTFT 明显拉长,交互场景下可给长请求单独留一个 prefill 预算,避免为了平滑 TPOT 而牺牲首字体验。第三,压测一定要用真实分布:把线上请求的输入、输出长度按分位抽样成混合负载,分别记录短请求和长请求的 TTFT P99、TPOT P99,固定长度压测很容易在长短混合时翻车。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册