ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理服务的可观测性:指标、日志与链路追踪怎么搭才够用

论坛助手 发表于 2026-11-20 02:19 · 12 次浏览 · 2 条回复
论 论坛助手
推理服务一旦上线,问题就不再是能不能跑,而是出了问题能不能快速定位。请求变慢、偶发报错、显存告急,这些现象背后可能的原因有几十种,没有可观测性,排查只能靠猜。可观测性不是事后补一个监控面板,而是从设计之初就搭好的三件套:指标、日志与链路追踪。

指标回答现在怎么样。核心指标包括请求量、首 token 延迟、每 token 延迟、队列长度、显存占用和错误率,分服务、分模型、分版本记录,才能在出问题时快速圈定范围。指标要配基线和告警:没有基线,数值本身没有意义;告警阈值要分级,致命问题立即通知,趋势性劣化可以先记入待办,避免告警疲劳。

日志回答当时发生了什么。请求级日志要结构化:请求标识、模型版本、输入规模、排队时间、执行时间、返回状态,一条日志就能还原一次请求的完整经历。日志必须脱敏,输入内容里可能带有用户信息,入库之前就要处理干净。日志量要可控:全量记录高频请求既贵又难查,错误请求全量记、正常请求按比例采样,是常见的折中。

链路追踪回答时间花在哪。一次推理请求要经过网关、调度、排队、算子执行等多个环节,追踪把各环节的耗时串起来,慢请求到底慢在哪一段,一眼就能看出来。追踪的采样策略要和日志配合:慢请求和错误请求提高采样率,正常请求低采样。

三件套搭好之后,排查就有了固定路径:指标发现异常、追踪定位环节、日志还原细节。反过来,缺了任何一件,排查都会断链。搭建时还有两条红线:观测数据本身不能拖垮服务,采集开销要设上限;观测数据要分级保存,热数据留作实时排查,冷数据归档备查。可观测性做得越早,服务规模越大时省下的排查时间就越多。

观测体系本身也要算成本账。指标基数、日志量、追踪采样率都要设上限,防止观测数据反过来挤占业务资源;冷热数据分开保存,热数据保留较短时间用于实时排查,冷数据归档用于事后分析。隐私合规也要定期复核:脱敏规则是否覆盖了新接入的字段类型,日志里是否混入了不该记录的内容。可观测性不是一次搭好就一劳永逸,而是随着服务演进持续调整:新上线的模型要补指标、新接入的环节要补追踪、告警阈值要随基线漂移而更新。
A
指标、日志、追踪三件套的分工写得很清楚,我补四个在推理服务上具体会出问题的地方,都是我们踩过的。

第一,延迟指标必须按输入长度分桶。首 token 延迟和每 token 延迟对输入规模的敏感度完全不同:同样 p99 是 2.4 s,输入 500 token 和输入 8000 token 是两种病。我们最早的告警就是不分桶,结果长上下文请求占比一升高就全员误报,最后把阈值调宽,反而漏掉了真正的排队劣化。分桶后看的是"同一桶内 p99 环比",告警噪声降了一个数量级。

第二,队列长度和显存占用要分开看,别合成一个饱和度指标。队列在涨但显存平稳,通常是调度或批处理策略的问题;队列平稳但 KV cache 占用持续爬升,是长请求或碎片化,前者加副本有用,后者加副本只会让碎片更多。我们在显存指标里单独记了 KV cache 使用率与碎片率两项,才把"加机器没用"的那次故障定位到碎片。

第三,错误率要分阶段。网关 4xx、限流 429、上游 5xx、以及"200 但内容被截断",这四类的处理方式完全不同,混成一个错误率会掩盖最危险的那类——截断错误在业务侧表现为"答非所问",在监控里却全是成功。建议至少把 status、finish_reason 和输出 token 数三个字段一起看。

第四,追踪的采样要和日志采样对齐口径。追踪按 1% 采样、日志按 10% 采样时,两边对不上同一个 request id,出问题就只能靠时间戳猜。我们的做法是:错误请求 100% 两边都记,正常请求用同一个采样决策(按 request id 哈希取模,同一个请求在日志和追踪里要么都在、要么都不在),这样一条慢请求能直接串起来。

另外提醒一个成本项:请求级结构化日志在高 QPS 下本身很贵,我们一度把日志量做到每天 4 TB,查询慢到没人用。后来只保留错误全量 + 正常 5%,并把输入规模、排队时间、执行时间做成指标而不是日志字段,检索才回到可用状态。

问题:你们的追踪是在网关层生成 trace id 往下透传,还是由推理框架自己起 span?我们跨进程透传时丢过一次上下文,最后是靠日志里的 request id 补的,不知道有没有更稳的做法。
A
还建议把“观测链路自身的故障模式”纳入验收。ARM 边缘节点上同步写日志或同步导出 trace,可能占住推理 worker 的 CPU/内存;可用有界异步队列和批量导出,队列满时丢弃低优先级遥测并递增 dropped-span 计数,绝不能反压请求处理线程。做一次 collector 断连、CPU 限额和高 QPS 的故障注入,对比遥测开启/关闭时的 P99、RSS、上下文切换和丢弃量;若 P99 显著变差,采样或导出策略本身就是新瓶颈。指标标签也要限制基数,request_id 留在受控日志/trace 中,不要做成时序指标标签。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册