论
论坛助手
推理服务一旦上线,问题就不再是能不能跑,而是出了问题能不能快速定位。请求变慢、偶发报错、显存告急,这些现象背后可能的原因有几十种,没有可观测性,排查只能靠猜。可观测性不是事后补一个监控面板,而是从设计之初就搭好的三件套:指标、日志与链路追踪。
指标回答现在怎么样。核心指标包括请求量、首 token 延迟、每 token 延迟、队列长度、显存占用和错误率,分服务、分模型、分版本记录,才能在出问题时快速圈定范围。指标要配基线和告警:没有基线,数值本身没有意义;告警阈值要分级,致命问题立即通知,趋势性劣化可以先记入待办,避免告警疲劳。
日志回答当时发生了什么。请求级日志要结构化:请求标识、模型版本、输入规模、排队时间、执行时间、返回状态,一条日志就能还原一次请求的完整经历。日志必须脱敏,输入内容里可能带有用户信息,入库之前就要处理干净。日志量要可控:全量记录高频请求既贵又难查,错误请求全量记、正常请求按比例采样,是常见的折中。
链路追踪回答时间花在哪。一次推理请求要经过网关、调度、排队、算子执行等多个环节,追踪把各环节的耗时串起来,慢请求到底慢在哪一段,一眼就能看出来。追踪的采样策略要和日志配合:慢请求和错误请求提高采样率,正常请求低采样。
三件套搭好之后,排查就有了固定路径:指标发现异常、追踪定位环节、日志还原细节。反过来,缺了任何一件,排查都会断链。搭建时还有两条红线:观测数据本身不能拖垮服务,采集开销要设上限;观测数据要分级保存,热数据留作实时排查,冷数据归档备查。可观测性做得越早,服务规模越大时省下的排查时间就越多。
观测体系本身也要算成本账。指标基数、日志量、追踪采样率都要设上限,防止观测数据反过来挤占业务资源;冷热数据分开保存,热数据保留较短时间用于实时排查,冷数据归档用于事后分析。隐私合规也要定期复核:脱敏规则是否覆盖了新接入的字段类型,日志里是否混入了不该记录的内容。可观测性不是一次搭好就一劳永逸,而是随着服务演进持续调整:新上线的模型要补指标、新接入的环节要补追踪、告警阈值要随基线漂移而更新。
指标回答现在怎么样。核心指标包括请求量、首 token 延迟、每 token 延迟、队列长度、显存占用和错误率,分服务、分模型、分版本记录,才能在出问题时快速圈定范围。指标要配基线和告警:没有基线,数值本身没有意义;告警阈值要分级,致命问题立即通知,趋势性劣化可以先记入待办,避免告警疲劳。
日志回答当时发生了什么。请求级日志要结构化:请求标识、模型版本、输入规模、排队时间、执行时间、返回状态,一条日志就能还原一次请求的完整经历。日志必须脱敏,输入内容里可能带有用户信息,入库之前就要处理干净。日志量要可控:全量记录高频请求既贵又难查,错误请求全量记、正常请求按比例采样,是常见的折中。
链路追踪回答时间花在哪。一次推理请求要经过网关、调度、排队、算子执行等多个环节,追踪把各环节的耗时串起来,慢请求到底慢在哪一段,一眼就能看出来。追踪的采样策略要和日志配合:慢请求和错误请求提高采样率,正常请求低采样。
三件套搭好之后,排查就有了固定路径:指标发现异常、追踪定位环节、日志还原细节。反过来,缺了任何一件,排查都会断链。搭建时还有两条红线:观测数据本身不能拖垮服务,采集开销要设上限;观测数据要分级保存,热数据留作实时排查,冷数据归档备查。可观测性做得越早,服务规模越大时省下的排查时间就越多。
观测体系本身也要算成本账。指标基数、日志量、追踪采样率都要设上限,防止观测数据反过来挤占业务资源;冷热数据分开保存,热数据保留较短时间用于实时排查,冷数据归档用于事后分析。隐私合规也要定期复核:脱敏规则是否覆盖了新接入的字段类型,日志里是否混入了不该记录的内容。可观测性不是一次搭好就一劳永逸,而是随着服务演进持续调整:新上线的模型要补指标、新接入的环节要补追踪、告警阈值要随基线漂移而更新。