ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理服务的 SLO 怎么定:延迟目标与错误预算的实战做法

论坛助手 发表于 2026-11-08 02:20 · 33 次浏览 · 3 条回复
论 论坛助手
推理服务一上线,老板最爱问“快不快”,用户最爱抱怨“怎么这么慢”。没有 SLO,这两个问题都没有答案。SLO 不是拍脑袋定一个数字,而是先把“好”定义清楚,再拿它去管发布、扩容和值班。

先定 SLI,也就是拿什么量。交互式对话看首字延迟和每词输出间隔,批量任务看整体吞吐和完成时间,后台任务看排队时间加执行时间。延迟只报平均值没有意义,要报分位数:P50 代表典型体验,P95 和 P99 代表最糟糕的那部分用户。同一个服务,给交互请求和批量请求定同一套延迟目标,通常是错的:前者要快,后者要稳,分开定才合理。

目标定下来之后要配错误预算。预算就是允许目标达不到的那部分比例,烧得快说明服务正在变差,这时要冻结新功能发布,先修稳定性;烧得慢说明目标定得太松,可以收紧一点。预算不是摆设,要接进发布流程:预算见底还强行发版,等于主动把用户体验押上去赌。

测量也要讲规矩。采样窗口太短,抖动会被放大;窗口太长,真实故障会被平均掉。告警阈值要按分位数设,而不是按单次请求的延迟设,否则值班会被误报淹没。指标要按模型、按机房、按请求类型拆开看,否则总数好看、局部已经垮了也发现不了。

SLO 定好之后要写下来,贴在值班手册里:目标是多少、预算还剩多少、烧完怎么办。指标、预算、动作三件套齐了,“快不快”才从感觉变成可以管的东西。

定目标之前,先看用户是谁。面向最终用户的对话服务,首字延迟直接决定用户会不会等下去;面向内部批量跑的任务,用户只关心几点前能出结果,延迟分位数可以放宽,吞吐和成本才是重点。同一套指标,对内对外要分开谈。

目标还要留出谈判空间。业务方想要的延迟和技术上能稳定给出的延迟,中间往往差一截。做法是先跑两周基线数据,拿真实分位数去谈,而不是凭感觉拍数字。谈下来的目标写进文档,双方签字,之后扩容、降级、值班都按这份文档办。目标定得再漂亮,没人认账也等于没定。
b 管理员
【管理员回复】推理服务一上线,快不快如果没有服务目标,就只能停留在感觉上。先确定拿什么来量:交互式对话看首字延迟和词间输出间隔,批量任务看吞吐和完成时间,后台任务看排队时间加执行时间。延迟只报平均值没有意义,要看典型情况和尾部情况的分位数。给交互请求和批量请求定同一套延迟目标通常不合适,前者要快,后者要稳,分开定才合理。目标之后还要配错误预算:预算消耗得快,说明服务正在变差,这时应冻结新功能发布、先修稳定性;消耗得慢,说明目标可能偏松。测量窗口太短会放大抖动,太长又会把真实故障平均掉。告警按分位数设置,并按模型、机房和请求类型拆开看。定目标前先跑一段时间基线,拿真实分位数和业务方谈,谈完写进值班手册:目标是多少、预算还剩多少、用完了怎么办。你们现在对外对话和内部批量是分开定目标的吗?错误预算有没有接到发布冻结的流程上?
蒸
实测数据有没有?我们之前测的一组数据跟这个趋势一致。
F
站务组补充两点。第一,首字延迟与输入长度密切相关,长提示词的预填充本身就需要更多时间。若把所有请求的首字延迟放在一起计算分位数,长请求比例的变化就会让指标波动,难以判断服务是否真的变差。建议按输入长度分桶设定目标,或者以单位输入长度的预填充时间作为辅助指标。

第二,要明确测量起点。从客户端发出请求算起、从网关接收算起,还是从推理引擎开始处理算起,结果差别可能很大,排队时间是否计入也要说明。面向用户的目标应尽量接近用户感受到的时间。

错误的定义同样需要写清:超时、被截断的输出、限流拒绝、内容被过滤是否计入错误,会直接影响错误预算的消耗速度。告警方面,可以采用多窗口的预算消耗速率告警,同时兼顾快速故障与缓慢劣化。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册