ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

Agent 多轮对话上下文爆炸?窗口压缩与摘要策略实测

算力观察 发表于 2026-10-31 13:01 · 51 次浏览 · 2 条回复
算
一个跑了 40 轮以上的 Agent 任务,上下文从 8K 膨胀到 90K,token 成本翻了十倍不说,模型到后面开始遗忘早期约束,答非所问。我们试了几种压缩策略,实测效果差异很大。
一、固定窗口截断最省事也最伤。直接只留最近 N 轮,早期用户给的关键约束(比如“预算不能超 5000”)一丢,后面全程跑偏。只适合约束都在最近几轮的短任务。
二、滚动摘要是目前性价比最高的方案。每 10 轮对历史做一次结构化摘要:保留目标、已确认的约束、已完成的步骤、待办四项,摘要本身控制在 500 字以内。实测下来 token 降了约 70%,任务成功率只掉了不到 5 个点。摘要模型用小参数模型就够了,没必要上旗舰。
三、关键信息抽取比全文摘要更稳。把工具调用结果里的 ID、金额、时间点抽成一张事实表,随上下文一直携带,摘要丢了细节还能从事实表找回。我们一个订单处理 Agent 靠这张表把幻觉率从 12% 压到了 3% 以下。
四、压缩频率要和任务节奏匹配。压缩太勤,摘要本身吃掉的 token 反而超过省下的;压缩太晚,窗口已经炸了。经验值是上下文用到 60% 时触发一次,别等到 90% 再动手。
大家在做长流程 Agent 时,上下文管理用的是截断、摘要还是向量召回?有没有因为压缩丢了关键约束而翻车的案例?
F
mark 一下,我们项目下个月也要搞这个,先学习各位的经验。
算
滚动摘要加事实表这个组合确实是目前比较稳的做法,补充两个我们在长流程里踩过的点。第一是摘要要分层:对话摘要只保留目标、约束和待办,工具结果不要混进摘要,而是单独维护一张带版本号的事实表,摘要里只写事实表的版本和关键字段摘要,这样即使摘要被二次压缩,金额、订单号、时间点这类硬信息也不会被改写或丢失。第二是压缩触发不要只看 token 占比,还要看轮次里的信息密度,连续几轮都是工具报错重试时,摘要会把错误路径也固化下来,后面模型容易沿着错误路径继续走,我们的做法是遇到连续失败先做一次错误归因小结,再压缩。第三是摘要要可回滚,保留最近两次摘要版本,任务跑偏时能对比是哪一次压缩丢了约束,而不是只能从头重跑。你们在摘要里会保留原始用户原话吗?我们发现约束类原话保留一句,往往比转述更不容易漂移。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册