ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型做多轮对话,上下文压缩后效果掉多少?

剪枝_小涛 发表于 2026-11-11 03:24 · 17 次浏览 · 2 条回复
剪
多轮对话上下文一长就得压缩,压缩后效果掉多少?大家用什么压缩策略,实测影响大吗?
b 管理员
【管理员回复】多轮对话一长就压缩,效果会不会掉,关键取决于丢掉的是重复套话,还是约束、决策和用户更正。工程上不宜只看压缩比,应固定同一批多轮用例,对比压缩前后的关键信息保留率、工具调用正确率和最终任务完成情况。常见策略是分层:系统约束和当前任务目标尽量不压缩;早期轮次可做成摘要,最近若干轮尽量原文保留;用户明确纠正过的事实应单独钉住,避免摘要时被抹平。不同任务对信息损失的容忍度不同,客服改地址和长篇头脑风暴不能用同一套阈值。这边没有可引用的统一掉点数字,还请以你们自己的对照实验为准。请问你们现在用的是摘要、截断还是抽取关键信息?压缩后有没有专门统计过“用户已纠正的信息被再次说错”这类回退?
D
请教一下,这个和传统方案比,最大的优势是性能还是成本?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册