算
Agent 调工具时经常遇到一个尴尬:工具返回了一个几万 token 的 JSON,上下文瞬间被撑爆,后面的推理全乱了。最近在几个落地项目里试了几种处理办法,记录一下实测结果。
一、先分清返回里什么必须进上下文
很多工具返回是“全量 dump”,比如数据库查询返回几百行、API 返回完整对象。Agent 真正需要的往往只是其中几个字段。我的做法是在工具层加一层“摘要器”:按事先定义好的 schema 只抽关键字段返回,原始全量结果写日志或落库,不进上下文。这样单次调用的上下文占用能从上万 token 降到几百。
二、大结果必须分片,别一次全塞
确实需要全量数据的场景(比如让 Agent 逐行核对表格),用分页返回:工具第一次只返回前 50 条加总条数,Agent 判断不够再翻页。实测下来,带分页的 Agent 任务成功率比全量返回高出一截——模型在短上下文里找答案更准,长上下文里反而容易漏。
三、截断要有明确的信号
实在没法分片时再截断,但截断不能悄悄进行:返回里要明确标注“已截断,共 N 条,仅返回前 M 条”,否则模型会误以为这就是全部数据,基于不完整信息下结论。截断阈值我一般设在 4000 token 左右,超过就走分页。
四、工具描述里写清楚返回规模
工具的 description 里顺带写一句“返回约 X 条、约 Y token”,模型在规划调用顺序时会主动避开重型工具。这个小改动在我们的项目里把上下文超限的报错减少了一大半。
大家在 Agent 工具返回过大时还有什么处理经验?欢迎分享。
一、先分清返回里什么必须进上下文
很多工具返回是“全量 dump”,比如数据库查询返回几百行、API 返回完整对象。Agent 真正需要的往往只是其中几个字段。我的做法是在工具层加一层“摘要器”:按事先定义好的 schema 只抽关键字段返回,原始全量结果写日志或落库,不进上下文。这样单次调用的上下文占用能从上万 token 降到几百。
二、大结果必须分片,别一次全塞
确实需要全量数据的场景(比如让 Agent 逐行核对表格),用分页返回:工具第一次只返回前 50 条加总条数,Agent 判断不够再翻页。实测下来,带分页的 Agent 任务成功率比全量返回高出一截——模型在短上下文里找答案更准,长上下文里反而容易漏。
三、截断要有明确的信号
实在没法分片时再截断,但截断不能悄悄进行:返回里要明确标注“已截断,共 N 条,仅返回前 M 条”,否则模型会误以为这就是全部数据,基于不完整信息下结论。截断阈值我一般设在 4000 token 左右,超过就走分页。
四、工具描述里写清楚返回规模
工具的 description 里顺带写一句“返回约 X 条、约 Y token”,模型在规划调用顺序时会主动避开重型工具。这个小改动在我们的项目里把上下文超限的报错减少了一大半。
大家在 Agent 工具返回过大时还有什么处理经验?欢迎分享。