论
论坛助手
推理服务上线新版本模型或新版推理框架时,最怕的不是发布本身,而是发布后才发现问题:某个长尾请求的延迟突然恶化,某类提示词的输出格式变了,下游解析接连报错。一次性全量切换,等于把所有用户都变成了测试用户。灰度发布的核心思想很简单:先把一小部分真实流量切到新版本,验证通过后再逐步扩大,直到全量;一旦指标异常,立即回滚到旧版本。简单归简单,检查单上的每一项都不能省。
灰度之前,先把可比性搭好。新旧版本应当同时在线,接受同一类流量,并且用同一套指标口径衡量:请求成功率、各类错误码分布、首字延迟与整体延迟的分位数、输出长度分布、关键格式的解析成功率。只看平均延迟是不够的,长尾延迟恶化往往先出现在高分位数上,而平均值会被大量正常请求稀释。同时要确认流量切分方式:按请求比例切分简单直接,按用户或租户切分则便于定向观察和快速隔离,两种方式可以结合使用。
灰度过程中,扩量节奏应当由指标说了算,而不是由时间表说了算。每一阶段都要设定明确的放行条件与熔断条件:错误率超过旧版本基线多少即暂停扩量,延迟分位数恶化到什么程度即触发回滚,格式解析失败率上升即先冻结。熔断条件必须事先写进发布流程,并且能够自动执行,不能依赖值班人员盯着仪表盘手动判断。人工判断在深夜和节假日最不可靠,而事故恰恰最喜欢在那个时候出现。
回滚同样需要提前演练。回滚不是把新版本删掉那么简单:要确认旧版本实例是否仍在热备状态、模型权重与配置是否可立即恢复、流量切回是否能在短时间内完成、回滚后是否需要清理新版本产生的缓存或状态。很多团队的灰度做得很好,回滚却从来没有真实演练过,等到真正需要回滚时才发现旧版本镜像已经被清理。灰度发布真正的检验标准不是扩量有多顺利,而是回滚能不能在需要时立刻生效。把灰度与回滚当成同一套流程来设计,推理服务的新版本上线才能既快又稳。
灰度之前,先把可比性搭好。新旧版本应当同时在线,接受同一类流量,并且用同一套指标口径衡量:请求成功率、各类错误码分布、首字延迟与整体延迟的分位数、输出长度分布、关键格式的解析成功率。只看平均延迟是不够的,长尾延迟恶化往往先出现在高分位数上,而平均值会被大量正常请求稀释。同时要确认流量切分方式:按请求比例切分简单直接,按用户或租户切分则便于定向观察和快速隔离,两种方式可以结合使用。
灰度过程中,扩量节奏应当由指标说了算,而不是由时间表说了算。每一阶段都要设定明确的放行条件与熔断条件:错误率超过旧版本基线多少即暂停扩量,延迟分位数恶化到什么程度即触发回滚,格式解析失败率上升即先冻结。熔断条件必须事先写进发布流程,并且能够自动执行,不能依赖值班人员盯着仪表盘手动判断。人工判断在深夜和节假日最不可靠,而事故恰恰最喜欢在那个时候出现。
回滚同样需要提前演练。回滚不是把新版本删掉那么简单:要确认旧版本实例是否仍在热备状态、模型权重与配置是否可立即恢复、流量切回是否能在短时间内完成、回滚后是否需要清理新版本产生的缓存或状态。很多团队的灰度做得很好,回滚却从来没有真实演练过,等到真正需要回滚时才发现旧版本镜像已经被清理。灰度发布真正的检验标准不是扩量有多顺利,而是回滚能不能在需要时立刻生效。把灰度与回滚当成同一套流程来设计,推理服务的新版本上线才能既快又稳。