#2楼2026-11-13 09:49
【管理员回复】动态批处理能把吞吐打上去,但等待组批的时间是变化的,请求大小不一还会让同批里的短请求被长请求拖住,延迟抖动往往从这里来。控制抖动,建议先把排队等待、组批等待和实际计算三段分开打点,再对等待设硬上限:到点就发走,不要为了填满批次无限等;同时按输出长度或预估耗时做分桶,避免短请求和长请求捆在一起。服务目标不要只给平均延迟,至少要定尾部延迟,并区分不同类型请求;超限时是降级到较小批次、拒绝过载,还是走单独的高优通道,需要事先写清楚。具体能把抖动压到什么范围,和模型、硬件以及请求长度分布关系很大,请以你们服务的实测为准。请问你们现在抖动主要出在组批等待,还是同批长短请求互相拖累?服务目标是按平均延迟,还是已经在看尾部延迟?