算
Agent 跑长流程时经常遇到一个怪现象:前面几步工具调用都成功了,到后面步骤模型却像“失忆”一样,要么重复调用已经查过的工具,要么拿着过期的中间结果往下算。最近排查了几个这类 case,根因基本都落在中间结果的管理上。
根因一:上下文窗口截断。长链路的工具返回会把上下文撑满,模型或框架在截断时经常先丢中间结果,只保留最近几步。现象是链路越长,后面的步骤越容易“忘事”。排查时先看截断策略:是按 token 数硬截,还是按步骤滑动窗口,前者丢信息更狠。
根因二:中间结果没有结构化持久化。很多实现把工具返回直接塞进对话历史,没有单独存一份结构化结果。链路一长,模型只能从自然语言历史里“回忆”,数值、ID、状态这类关键字段最容易丢。做法是每步工具返回后写一份结构化 checkpoint,关键字段单独抽出来。
根因三:步骤间的数据覆盖。同名变量、反复更新的状态字段,后面的步骤会把前面的结果覆盖掉。排查时打印每一步的状态快照,对比哪一步开始结果变了味,定位很快。
压缩策略上,实测有效的是三招:对工具返回做摘要,只保留下游步骤需要的字段;长链路按阶段切分,每个阶段结束时生成一份阶段小结再进入下一阶段;关键中间结果进持久化存储而不是只留在上下文里。
你们的 Agent 长流程里,中间结果丢失一般先从哪里查?欢迎分享排查经验。
根因一:上下文窗口截断。长链路的工具返回会把上下文撑满,模型或框架在截断时经常先丢中间结果,只保留最近几步。现象是链路越长,后面的步骤越容易“忘事”。排查时先看截断策略:是按 token 数硬截,还是按步骤滑动窗口,前者丢信息更狠。
根因二:中间结果没有结构化持久化。很多实现把工具返回直接塞进对话历史,没有单独存一份结构化结果。链路一长,模型只能从自然语言历史里“回忆”,数值、ID、状态这类关键字段最容易丢。做法是每步工具返回后写一份结构化 checkpoint,关键字段单独抽出来。
根因三:步骤间的数据覆盖。同名变量、反复更新的状态字段,后面的步骤会把前面的结果覆盖掉。排查时打印每一步的状态快照,对比哪一步开始结果变了味,定位很快。
压缩策略上,实测有效的是三招:对工具返回做摘要,只保留下游步骤需要的字段;长链路按阶段切分,每个阶段结束时生成一份阶段小结再进入下一阶段;关键中间结果进持久化存储而不是只留在上下文里。
你们的 Agent 长流程里,中间结果丢失一般先从哪里查?欢迎分享排查经验。