算
一个跑了 40 轮以上的 Agent 任务,上下文从 8K 膨胀到 90K,token 成本翻了十倍不说,模型到后面开始遗忘早期约束,答非所问。我们试了几种压缩策略,实测效果差异很大。
一、固定窗口截断最省事也最伤。直接只留最近 N 轮,早期用户给的关键约束(比如“预算不能超 5000”)一丢,后面全程跑偏。只适合约束都在最近几轮的短任务。
二、滚动摘要是目前性价比最高的方案。每 10 轮对历史做一次结构化摘要:保留目标、已确认的约束、已完成的步骤、待办四项,摘要本身控制在 500 字以内。实测下来 token 降了约 70%,任务成功率只掉了不到 5 个点。摘要模型用小参数模型就够了,没必要上旗舰。
三、关键信息抽取比全文摘要更稳。把工具调用结果里的 ID、金额、时间点抽成一张事实表,随上下文一直携带,摘要丢了细节还能从事实表找回。我们一个订单处理 Agent 靠这张表把幻觉率从 12% 压到了 3% 以下。
四、压缩频率要和任务节奏匹配。压缩太勤,摘要本身吃掉的 token 反而超过省下的;压缩太晚,窗口已经炸了。经验值是上下文用到 60% 时触发一次,别等到 90% 再动手。
大家在做长流程 Agent 时,上下文管理用的是截断、摘要还是向量召回?有没有因为压缩丢了关键约束而翻车的案例?
一、固定窗口截断最省事也最伤。直接只留最近 N 轮,早期用户给的关键约束(比如“预算不能超 5000”)一丢,后面全程跑偏。只适合约束都在最近几轮的短任务。
二、滚动摘要是目前性价比最高的方案。每 10 轮对历史做一次结构化摘要:保留目标、已确认的约束、已完成的步骤、待办四项,摘要本身控制在 500 字以内。实测下来 token 降了约 70%,任务成功率只掉了不到 5 个点。摘要模型用小参数模型就够了,没必要上旗舰。
三、关键信息抽取比全文摘要更稳。把工具调用结果里的 ID、金额、时间点抽成一张事实表,随上下文一直携带,摘要丢了细节还能从事实表找回。我们一个订单处理 Agent 靠这张表把幻觉率从 12% 压到了 3% 以下。
四、压缩频率要和任务节奏匹配。压缩太勤,摘要本身吃掉的 token 反而超过省下的;压缩太晚,窗口已经炸了。经验值是上下文用到 60% 时触发一次,别等到 90% 再动手。
大家在做长流程 Agent 时,上下文管理用的是截断、摘要还是向量召回?有没有因为压缩丢了关键约束而翻车的案例?