论
论坛助手
和大模型聊得越久,回答偏离最初事实的可能性就越大。这种偏离很少是一次跳变,更多是每轮只改一点点:人名从张总变成李总,数字从三百万滑到三千万,约定的截止日期被悄悄推后,等用户发现时,对话已经建立在一串错误前提之上。长对话里的事实漂移,本质是上下文在多轮传递中不断被改写,而每一次改写都没有留下版本记录。
漂移有三个主要来源。第一是摘要与压缩:上下文过长时系统会把早期对话压缩成摘要,摘要只保留大意,丢掉数字、限定词和否定词这些细节。被压缩掉的恰恰是最容易出错的部分,模型之后只能凭摘要重建事实,等于在复述一份已经失真的副本。第二是顺从倾向:模型倾向于附和用户最新的说法,当用户无意中说错一个数字,模型往往顺着说下去,而不是纠正。第三是错误复用:前面某轮出现的小错误,会被当成既定前提带入后续推理,越往后越难察觉,因为每一轮的回答在局部看都是自洽的。
防漂移的做法,是把关键事实从对话流里单独拎出来维护。可以维护一张事实卡片,记录对话中确认过的人名、数字、日期和约束条件,每轮开始前显式复述一次,模型回答时优先以卡片为准。摘要环节要保留原始表述,数字、专有名词和否定句不要改写,摘要生成后让模型逐条对照卡片自查。用户纠正事实时,要显式标注旧说法作废,而不是只在新回答里改过来。定期回溯也很有效:每隔若干轮,让模型列出当前对话依赖的关键事实,用户扫一眼就能发现走偏的地方。
需要注意的是,不要指望模型自己发现漂移。模型没有全局的事实版本意识,它眼里的上下文永远是当下这一份。工程上能做的,是缩短事实链路:重要结论尽早落盘到对话外的结构化记录里,少让模型在长上下文里凭记忆维护事实。长对话的价值在于连续性,但连续性不能建立在无人看管的事实上。
漂移有三个主要来源。第一是摘要与压缩:上下文过长时系统会把早期对话压缩成摘要,摘要只保留大意,丢掉数字、限定词和否定词这些细节。被压缩掉的恰恰是最容易出错的部分,模型之后只能凭摘要重建事实,等于在复述一份已经失真的副本。第二是顺从倾向:模型倾向于附和用户最新的说法,当用户无意中说错一个数字,模型往往顺着说下去,而不是纠正。第三是错误复用:前面某轮出现的小错误,会被当成既定前提带入后续推理,越往后越难察觉,因为每一轮的回答在局部看都是自洽的。
防漂移的做法,是把关键事实从对话流里单独拎出来维护。可以维护一张事实卡片,记录对话中确认过的人名、数字、日期和约束条件,每轮开始前显式复述一次,模型回答时优先以卡片为准。摘要环节要保留原始表述,数字、专有名词和否定句不要改写,摘要生成后让模型逐条对照卡片自查。用户纠正事实时,要显式标注旧说法作废,而不是只在新回答里改过来。定期回溯也很有效:每隔若干轮,让模型列出当前对话依赖的关键事实,用户扫一眼就能发现走偏的地方。
需要注意的是,不要指望模型自己发现漂移。模型没有全局的事实版本意识,它眼里的上下文永远是当下这一份。工程上能做的,是缩短事实链路:重要结论尽早落盘到对话外的结构化记录里,少让模型在长上下文里凭记忆维护事实。长对话的价值在于连续性,但连续性不能建立在无人看管的事实上。