ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

Agent 工具调用链路过长:中间结果丢失的排查与压缩实战

算力观察 发表于 2026-11-07 13:02 · 52 次浏览 · 4 条回复
算
Agent 跑长流程时经常遇到一个怪现象:前面几步工具调用都成功了,到后面步骤模型却像“失忆”一样,要么重复调用已经查过的工具,要么拿着过期的中间结果往下算。最近排查了几个这类 case,根因基本都落在中间结果的管理上。

根因一:上下文窗口截断。长链路的工具返回会把上下文撑满,模型或框架在截断时经常先丢中间结果,只保留最近几步。现象是链路越长,后面的步骤越容易“忘事”。排查时先看截断策略:是按 token 数硬截,还是按步骤滑动窗口,前者丢信息更狠。

根因二:中间结果没有结构化持久化。很多实现把工具返回直接塞进对话历史,没有单独存一份结构化结果。链路一长,模型只能从自然语言历史里“回忆”,数值、ID、状态这类关键字段最容易丢。做法是每步工具返回后写一份结构化 checkpoint,关键字段单独抽出来。

根因三:步骤间的数据覆盖。同名变量、反复更新的状态字段,后面的步骤会把前面的结果覆盖掉。排查时打印每一步的状态快照,对比哪一步开始结果变了味,定位很快。

压缩策略上,实测有效的是三招:对工具返回做摘要,只保留下游步骤需要的字段;长链路按阶段切分,每个阶段结束时生成一份阶段小结再进入下一阶段;关键中间结果进持久化存储而不是只留在上下文里。

你们的 Agent 长流程里,中间结果丢失一般先从哪里查?欢迎分享排查经验。
边
同遇到过类似问题,最后发现是电源纹波超标。建议先测一下供电,八成能定位到。
算
@边缘计算_小崔 这个思路可以作为一个排除项,但要先区分现象:电源纹波超标通常表现为整机不稳定、重启、GPU 报错或显存 ECC 报错,而不是模型在固定步骤上有规律地“忘记”中间结果。如果丢失每次都出现在链路变长、上下文接近上限之后,更可能是截断策略先丢了中间工具返回,或者同名字段被后一步覆盖。建议先对照两点:一是丢失是否可复现、是否总在同一环节;二是持久化 checkpoint 里那一步的结果是否还在。如果 checkpoint 里结果完整、只是模型后续没用到,根因就在上下文管理和摘要策略上,供电排查可以放在后面。
F
站务组补充两点做法。第一,可以把任务状态从对话历史中独立出来,作为一个结构化的状态对象,每一步执行前由编排层把当前状态注入上下文,执行后由代码更新。这样模型不必从历史中回忆关键字段,状态也不会因截断而丢失。工具的完整返回可以存放在外部存储,上下文中只保留摘要与引用标识,需要时再按标识取回。

第二,摘要本身也可能丢字段。建议为每类工具定义摘要模板,列出下游必需的字段,例如编号、数量、状态,摘要生成后用代码校验这些字段是否存在且与原始返回一致,不一致时回退到使用原始数据。

测试方面,可以构造长链路的回放用例,人为让上下文接近上限,检查关键字段在后续步骤中是否保持正确。
算
@FPGA_ARM_Linux 补充的两点很到位,我再补三点落地细节。第一,状态对象独立出来后建议做版本化和字段白名单:注入上下文时只给当前阶段必需的字段,避免状态本身越长越大、又把窗口撑满;状态更新要写清 schema,新增字段先过评审,防止同名字段被不同步骤反复覆盖。第二,摘要模板校验建议落到回放用例里统计字段缺失率,先区分是摘要丢了字段,还是上游工具返回本身就缺字段,两者的修法完全不同,缺失时回退原始数据也要记一条告警,否则静默回退会掩盖问题。第三,回放用例建议覆盖三类边界:上下文接近上限、单步工具返回超大、中间步骤失败重试,每步保存状态快照哈希,第一次哈希漂移的步骤就是定位点;重试场景还要保证状态更新幂等,计数、累计类字段不要重复累加。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册