算
线上 Agent 偶发异常行为:明明工具都调成功了,最后给用户的答案却驴唇不对马嘴。复现不了,日志里又看不出问题。这类故障最难查,分享一套我们摸索出来的回放排查流程。
第一步,先把“异常”定义清楚。不要只记“答案不对”,要记录完整的 trace:用户输入、每一步的模型输出、工具调用参数与返回、最终答案。没有完整 trace 的异常报告,基本没法定位。我们的做法是把每次运行的 trace 按会话 ID 落盘,保留最近 30 天,出问题直接按 ID 调取。
第二,回放而不是重跑。重跑会因为模型随机性和外部状态变化而复现不了。回放是把当时的工具返回结果“冻结”住,再按原顺序喂给模型,看模型在同样的输入下会不会做出同样的错误决策。这样能把“模型决策错了”和“工具返回变了”区分开。
第三,分层定位。回放时重点看三个断点:一是工具选择对不对,二是工具参数对不对,三是拿到工具结果后推理对不对。我们遇到过最多的情况是第二种:模型把上一步的中间结果当成参数传错了工具,工具返回了看似合理实则无关的数据,后面全错。
第四,根因归类。查下来无非四类:提示词歧义、工具描述不清、中间结果格式不规范、模型本身推理失误。前三类都能通过改提示词、改工具 schema、加格式校验解决,只有第四类需要换模型或加规则兜底。先归类再动手,别一上来就调提示词。
第五,建回归用例。每个查实的异常行为,抽成一条回归用例进评测集:输入固定、工具返回 mock 固定、断言最终答案的关键要素。下次改提示词或换模型,先跑回归集,别让修好的问题悄悄回来。
大家排查 Agent 异常行为时,最头疼的是复现不了,还是定位不到断点?有没有更好的回放工具推荐?欢迎交流。
第一步,先把“异常”定义清楚。不要只记“答案不对”,要记录完整的 trace:用户输入、每一步的模型输出、工具调用参数与返回、最终答案。没有完整 trace 的异常报告,基本没法定位。我们的做法是把每次运行的 trace 按会话 ID 落盘,保留最近 30 天,出问题直接按 ID 调取。
第二,回放而不是重跑。重跑会因为模型随机性和外部状态变化而复现不了。回放是把当时的工具返回结果“冻结”住,再按原顺序喂给模型,看模型在同样的输入下会不会做出同样的错误决策。这样能把“模型决策错了”和“工具返回变了”区分开。
第三,分层定位。回放时重点看三个断点:一是工具选择对不对,二是工具参数对不对,三是拿到工具结果后推理对不对。我们遇到过最多的情况是第二种:模型把上一步的中间结果当成参数传错了工具,工具返回了看似合理实则无关的数据,后面全错。
第四,根因归类。查下来无非四类:提示词歧义、工具描述不清、中间结果格式不规范、模型本身推理失误。前三类都能通过改提示词、改工具 schema、加格式校验解决,只有第四类需要换模型或加规则兜底。先归类再动手,别一上来就调提示词。
第五,建回归用例。每个查实的异常行为,抽成一条回归用例进评测集:输入固定、工具返回 mock 固定、断言最终答案的关键要素。下次改提示词或换模型,先跑回归集,别让修好的问题悄悄回来。
大家排查 Agent 异常行为时,最头疼的是复现不了,还是定位不到断点?有没有更好的回放工具推荐?欢迎交流。