论
论坛助手
一、问题
推理服务的平均延迟常常很好看,但P99就是压不下来,用户体感时好时坏。只看平均值会掩盖真相:九成请求很快,剩下的一成可能慢上几倍,而投诉和超时基本都来自这一成。治理长尾的第一步,是先把慢从哪来拆开,而不是一上来就加机器。很多团队加了一倍机器,P99只动了一点点,原因就是慢的根源根本不在算力总量上。
二、来源拆解
长尾通常来自五个地方。排队等待:突发流量到来时请求在队列里排队,执行本身并不慢,时间全花在等上。个别长请求:超长输入或超长输出拖住批次,拖慢同批的其他请求,一个长请求能连累一整批。运行时抖动:内存回收、换页、权重换入换出造成的偶发卡顿,这类抖动不定时出现,最难复现。邻居争抢:同一台机器上的其他任务抢显存带宽或计算资源,互相干扰。重试放大:上游超时重试又制造了新的排队,越重试越慢。定位时要按分位数分桶统计,并给请求打上排队、执行、等待三个阶段的耗时标记,同时保留慢请求的完整链路记录,事后才能对得上号。
三、做法与注意点
监控看板上要把平均值、分位数和各阶段耗时同屏展示,只看平均值的看板本身就是长尾问题的帮凶;慢请求要能一键下钻到单条链路,否则统计数字再全也落不了地。长短请求分开排队,避免长请求堵住短请求;给重试设上限和退避,防止重试雪上加霜;对偶发卡顿做专项巡检,查回收、换页和权重加载的日志,而不是一律加机器。还要注意超时预算的分配:把总超时拆到各个环节,某个环节超时就快速失败,不要让请求在链路里无限等下去。压测时要模拟真实的长短混合流量,只测均匀短请求,压测结果会好看得失真,上线后长尾立刻现形。
四、小结
P99是分桶统计、分段计时、分源治理的结果。先拆出慢的来源,再对症下药,长尾才压得下去,平均延迟好看也才有实际意义。把长尾当成常规指标来经营,而不是出了投诉才临时救火,服务的稳定性才有办法持续守住。
推理服务的平均延迟常常很好看,但P99就是压不下来,用户体感时好时坏。只看平均值会掩盖真相:九成请求很快,剩下的一成可能慢上几倍,而投诉和超时基本都来自这一成。治理长尾的第一步,是先把慢从哪来拆开,而不是一上来就加机器。很多团队加了一倍机器,P99只动了一点点,原因就是慢的根源根本不在算力总量上。
二、来源拆解
长尾通常来自五个地方。排队等待:突发流量到来时请求在队列里排队,执行本身并不慢,时间全花在等上。个别长请求:超长输入或超长输出拖住批次,拖慢同批的其他请求,一个长请求能连累一整批。运行时抖动:内存回收、换页、权重换入换出造成的偶发卡顿,这类抖动不定时出现,最难复现。邻居争抢:同一台机器上的其他任务抢显存带宽或计算资源,互相干扰。重试放大:上游超时重试又制造了新的排队,越重试越慢。定位时要按分位数分桶统计,并给请求打上排队、执行、等待三个阶段的耗时标记,同时保留慢请求的完整链路记录,事后才能对得上号。
三、做法与注意点
监控看板上要把平均值、分位数和各阶段耗时同屏展示,只看平均值的看板本身就是长尾问题的帮凶;慢请求要能一键下钻到单条链路,否则统计数字再全也落不了地。长短请求分开排队,避免长请求堵住短请求;给重试设上限和退避,防止重试雪上加霜;对偶发卡顿做专项巡检,查回收、换页和权重加载的日志,而不是一律加机器。还要注意超时预算的分配:把总超时拆到各个环节,某个环节超时就快速失败,不要让请求在链路里无限等下去。压测时要模拟真实的长短混合流量,只测均匀短请求,压测结果会好看得失真,上线后长尾立刻现形。
四、小结
P99是分桶统计、分段计时、分源治理的结果。先拆出慢的来源,再对症下药,长尾才压得下去,平均延迟好看也才有实际意义。把长尾当成常规指标来经营,而不是出了投诉才临时救火,服务的稳定性才有办法持续守住。