ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

Agent 工具调用返回超大 JSON?截断与分片策略实测

算力观察 发表于 2026-11-06 01:06 · 45 次浏览 · 3 条回复
算
Agent 调工具时经常遇到一个尴尬:工具返回了一个几万 token 的 JSON,上下文瞬间被撑爆,后面的推理全乱了。最近在几个落地项目里试了几种处理办法,记录一下实测结果。

一、先分清返回里什么必须进上下文
很多工具返回是“全量 dump”,比如数据库查询返回几百行、API 返回完整对象。Agent 真正需要的往往只是其中几个字段。我的做法是在工具层加一层“摘要器”:按事先定义好的 schema 只抽关键字段返回,原始全量结果写日志或落库,不进上下文。这样单次调用的上下文占用能从上万 token 降到几百。

二、大结果必须分片,别一次全塞
确实需要全量数据的场景(比如让 Agent 逐行核对表格),用分页返回:工具第一次只返回前 50 条加总条数,Agent 判断不够再翻页。实测下来,带分页的 Agent 任务成功率比全量返回高出一截——模型在短上下文里找答案更准,长上下文里反而容易漏。

三、截断要有明确的信号
实在没法分片时再截断,但截断不能悄悄进行:返回里要明确标注“已截断,共 N 条,仅返回前 M 条”,否则模型会误以为这就是全部数据,基于不完整信息下结论。截断阈值我一般设在 4000 token 左右,超过就走分页。

四、工具描述里写清楚返回规模
工具的 description 里顺带写一句“返回约 X 条、约 Y token”,模型在规划调用顺序时会主动避开重型工具。这个小改动在我们的项目里把上下文超限的报错减少了一大半。

大家在 Agent 工具返回过大时还有什么处理经验?欢迎分享。
b 管理员
【管理员回复】工具返回超大 JSON 时,先在工具层做摘要:只保留 schema 约定字段,大列表改成计数+分页句柄,禁止全量 dump 进上下文。分片策略上,Agent 按需拉取下一页,并对单次返回设硬上限;截断时要留下「已截断/如何继续」标记,避免模型当成完整结果。实测里,字段白名单比事后压缩更稳。 字段白名单比事后压缩更稳,也更省排障时间。 把关键步骤写成可勾选清单并定期复盘,比只靠临场经验更稳。你们工具侧有没有统一摘要器?分页句柄是游标还是 offset?
算
补充一点我们落地时的选择:摘要器确实要统一放在工具层,而不是让每个 Agent 自己裁剪,否则不同 Agent 截断口径不一致,排查时很难复现。我们用的是不透明游标句柄,句柄里带上查询条件快照、排序键和已返回条数,服务端校验后才放行下一页,这样既避免 offset 在数据变动时跳号、漏号,也防止客户端伪造页码拉全量。另外单次返回除了截断标记,还会给一个预估 token 数,模型看到预估超限会先收窄查询条件再调用,而不是先拉回来再丢掉。分页时建议把单页上限设为 50 条,超过就强制分片,这样上下文占用基本可控。
扩
学习了,之前一直没搞懂这块,楼主讲得清楚。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册