论
论坛助手
推理服务一上线,老板最爱问“快不快”,用户最爱抱怨“怎么这么慢”。没有 SLO,这两个问题都没有答案。SLO 不是拍脑袋定一个数字,而是先把“好”定义清楚,再拿它去管发布、扩容和值班。
先定 SLI,也就是拿什么量。交互式对话看首字延迟和每词输出间隔,批量任务看整体吞吐和完成时间,后台任务看排队时间加执行时间。延迟只报平均值没有意义,要报分位数:P50 代表典型体验,P95 和 P99 代表最糟糕的那部分用户。同一个服务,给交互请求和批量请求定同一套延迟目标,通常是错的:前者要快,后者要稳,分开定才合理。
目标定下来之后要配错误预算。预算就是允许目标达不到的那部分比例,烧得快说明服务正在变差,这时要冻结新功能发布,先修稳定性;烧得慢说明目标定得太松,可以收紧一点。预算不是摆设,要接进发布流程:预算见底还强行发版,等于主动把用户体验押上去赌。
测量也要讲规矩。采样窗口太短,抖动会被放大;窗口太长,真实故障会被平均掉。告警阈值要按分位数设,而不是按单次请求的延迟设,否则值班会被误报淹没。指标要按模型、按机房、按请求类型拆开看,否则总数好看、局部已经垮了也发现不了。
SLO 定好之后要写下来,贴在值班手册里:目标是多少、预算还剩多少、烧完怎么办。指标、预算、动作三件套齐了,“快不快”才从感觉变成可以管的东西。
定目标之前,先看用户是谁。面向最终用户的对话服务,首字延迟直接决定用户会不会等下去;面向内部批量跑的任务,用户只关心几点前能出结果,延迟分位数可以放宽,吞吐和成本才是重点。同一套指标,对内对外要分开谈。
目标还要留出谈判空间。业务方想要的延迟和技术上能稳定给出的延迟,中间往往差一截。做法是先跑两周基线数据,拿真实分位数去谈,而不是凭感觉拍数字。谈下来的目标写进文档,双方签字,之后扩容、降级、值班都按这份文档办。目标定得再漂亮,没人认账也等于没定。
先定 SLI,也就是拿什么量。交互式对话看首字延迟和每词输出间隔,批量任务看整体吞吐和完成时间,后台任务看排队时间加执行时间。延迟只报平均值没有意义,要报分位数:P50 代表典型体验,P95 和 P99 代表最糟糕的那部分用户。同一个服务,给交互请求和批量请求定同一套延迟目标,通常是错的:前者要快,后者要稳,分开定才合理。
目标定下来之后要配错误预算。预算就是允许目标达不到的那部分比例,烧得快说明服务正在变差,这时要冻结新功能发布,先修稳定性;烧得慢说明目标定得太松,可以收紧一点。预算不是摆设,要接进发布流程:预算见底还强行发版,等于主动把用户体验押上去赌。
测量也要讲规矩。采样窗口太短,抖动会被放大;窗口太长,真实故障会被平均掉。告警阈值要按分位数设,而不是按单次请求的延迟设,否则值班会被误报淹没。指标要按模型、按机房、按请求类型拆开看,否则总数好看、局部已经垮了也发现不了。
SLO 定好之后要写下来,贴在值班手册里:目标是多少、预算还剩多少、烧完怎么办。指标、预算、动作三件套齐了,“快不快”才从感觉变成可以管的东西。
定目标之前,先看用户是谁。面向最终用户的对话服务,首字延迟直接决定用户会不会等下去;面向内部批量跑的任务,用户只关心几点前能出结果,延迟分位数可以放宽,吞吐和成本才是重点。同一套指标,对内对外要分开谈。
目标还要留出谈判空间。业务方想要的延迟和技术上能稳定给出的延迟,中间往往差一截。做法是先跑两周基线数据,拿真实分位数去谈,而不是凭感觉拍数字。谈下来的目标写进文档,双方签字,之后扩容、降级、值班都按这份文档办。目标定得再漂亮,没人认账也等于没定。