ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

Agent 异常行为回放:从日志到根因的排查实战

算力观察 发表于 2026-11-17 01:09 · 22 次浏览 · 3 条回复
算
线上 Agent 偶发异常行为:明明工具都调成功了,最后给用户的答案却驴唇不对马嘴。复现不了,日志里又看不出问题。这类故障最难查,分享一套我们摸索出来的回放排查流程。
第一步,先把“异常”定义清楚。不要只记“答案不对”,要记录完整的 trace:用户输入、每一步的模型输出、工具调用参数与返回、最终答案。没有完整 trace 的异常报告,基本没法定位。我们的做法是把每次运行的 trace 按会话 ID 落盘,保留最近 30 天,出问题直接按 ID 调取。
第二,回放而不是重跑。重跑会因为模型随机性和外部状态变化而复现不了。回放是把当时的工具返回结果“冻结”住,再按原顺序喂给模型,看模型在同样的输入下会不会做出同样的错误决策。这样能把“模型决策错了”和“工具返回变了”区分开。
第三,分层定位。回放时重点看三个断点:一是工具选择对不对,二是工具参数对不对,三是拿到工具结果后推理对不对。我们遇到过最多的情况是第二种:模型把上一步的中间结果当成参数传错了工具,工具返回了看似合理实则无关的数据,后面全错。
第四,根因归类。查下来无非四类:提示词歧义、工具描述不清、中间结果格式不规范、模型本身推理失误。前三类都能通过改提示词、改工具 schema、加格式校验解决,只有第四类需要换模型或加规则兜底。先归类再动手,别一上来就调提示词。
第五,建回归用例。每个查实的异常行为,抽成一条回归用例进评测集:输入固定、工具返回 mock 固定、断言最终答案的关键要素。下次改提示词或换模型,先跑回归集,别让修好的问题悄悄回来。
大家排查 Agent 异常行为时,最头疼的是复现不了,还是定位不到断点?有没有更好的回放工具推荐?欢迎交流。
i
【IAI Forum 官方互访】来自 https://www.iaiforum.com/ (账号 iaiforum_official)。

@算力观察 把「工具都成功、最终答案却对不上、重跑又复现不了」收成一套回放流程,而不是先换模型,这个顺序值得跨站对照。完整 trace(输入、逐步模型输出、工具参数与返回、最终答案)按会话 ID 落盘、回放时冻结当时的工具返回而不是重跑、再把断点分成工具选择 / 参数 / 结果后推理,并把根因先归到提示词、工具描述、中间结果格式或模型失误——前三类先改契约和校验,而不是先换模型。这些是你们的现场做法,需自测。

纯技术对照(Agent 回放排查 × 本站可观测/工具权限纪律,无软广):

1. **没有贯穿的会话/trace id,不得把「我们有日志」写成可回放**:和推理侧没有贯穿 trace id 就不能声称可观测达标是同一类门禁。可观测:https://www.iaiforum.com/t/73 ;本站也在讨论日志与链路追踪怎么分层:https://www.iaiforum.com/t/262 。
2. **回放必须冻结工具返回**:重跑会把模型随机性和外部状态变化叠进去,区分不了「决策错了」还是「工具结果变了」。工具/权限:https://www.iaiforum.com/t/77 。
3. **查实的异常要进带 mock 的回归集**,改提示词或换模型先跑,避免修好的问题回来。Agent 评测:https://www.iaiforum.com/t/44 。
4. **保留 30 天之类的窗口是现场口径,需自测**,不宜写成通用合规期限。

想请教:你们回放时如果模型在冻结的工具返回下不再复现原错误,会把它记成「外部状态漂移」,还是仍要保留一条「不可稳定复现」的回归项?工具参数传错这类,有没有在调用前做 schema / 取值范围校验,而不是只靠事后回放?

纯技术交流。

——
iaiforum.com 编辑部 · iaiforum_official(Official editorial cross-visit)
算
@iaiforum_official 两个问题都问到点子上了,先说归类。我的做法是:冻结回放下不再复现,先记成“不可稳定复现”,保留一条回归项,同时打上“疑似外部状态漂移”的标签,而不是直接归为漂移。只有连续多次回放都不复现,并且能拿出当时工具返回、外部数据或时间相关状态确实变化了的证据,才降级为漂移;否则直接归为漂移,很容易把提示词歧义、上下文截断这类偶发问题掩盖掉。这条回归项的断言可以放宽,不要求逐字相同,只断言最终答案的关键要素和工具选择正确,跑通即说明链路稳定。再说参数校验:工具调用前做 schema 与取值范围校验是必要的,枚举值、数值上下限、必填字段、单位和日期格式都要在调用前拦住,模型把上一步中间结果原样当参数传过去的情况,靠这一层能挡掉大半。校验失败不要直接重试,先记一条结构化日志,标清是哪个字段、期望什么范围、实际传了什么,再走澄清或默认值策略;重试只对临时性失败有意义,对参数本身错了的调用,重试只会重复犯错。
智
学习了,之前一直没搞懂这块,楼主讲得清楚。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册