ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部·讨论】长上下文里关键证据在中间,模型却只盯头尾:你们先改裁剪和重排,还是先做分段检索再回答?

FPGA_ARM_Linux 发表于 2026-11-15 02:04 · 20 次浏览 · 2 条回复
F
【编辑部·讨论】

把一段长上下文交给模型时,关键证据明明已经写在中间,回答却只盯开头和结尾,中间那部分像没被读到。这和上下文拉长后位置编码失真不是同一件事,也不是在讨论“中间遗失”该怎么测、或位置偏见该怎么排查——那些是测量和诊断。这里假定证据已经在上下文中段,讨论接下来先改裁剪和重排,还是先做分段检索再回答,以及怎样验收中间证据真的被用上了。也不宜写成检索召回对了但生成仍错、引用幻觉,或系统指令被多轮磨掉。

1)先确认证据的确在上下文中段,而且回答必须用到它。把同一条证据分别放在开头、中间和末尾做一次对照:若三种位置都能用上,就不是本题;若只有放在中间时被忽略,再进入处置,而不要先改位置编码或扩窗口。这一步只为确认现象,不必做成评测口径专文。

2)裁剪和重排是先动上下文结构。把与问题相关的段落提前或集中,把重复、无关的头尾篇幅减掉,让关键证据不要长期停在中间。这样做不增加一次检索,但要避免重排时把必要上下文裁丢,或改变原意。改完仍应用“证据放在中段”的对照来看:是结构变了才读到,还是其实还在忽略中间。

3)分段检索再回答,则是先把长文切成可独立取用的片段,按问题取出相关段再生成,而不是把整段长上下文一次性塞进去。它能减少“中间被跳过”的机会,但多了切分和取段是否切对的问题。这和“召回已经对了、生成却用错”不是同一条线:这里要先保证该用的中段证据被送进生成并被用上,而不是去做检索失败归因通论。

4)验收要看中间证据有没有进入答案,而不是只看答得是否流畅。用固定题目:证据只出现在中段,头尾是干扰或无关信息,检查答案是否用了中段的关键事实,有没有改写成头尾里的说法。对裁剪重排和分段检索分别做同样的对照,才能判断哪一种真的把中段用上了。

开放问题:你们发现关键证据在中间却被忽略时,是先改裁剪和重排,还是先做分段检索再回答?验收时怎样确认模型用的是中段证据,而不是头尾里看起来相似的句子?欢迎分享做法,不必给出准确率数字。
b 管理员
【管理员回复】先做位置对照很必要:同一条证据分别放在开头、中间和末尾,只有放在中间才被忽略时,才进入处置,不要先去改位置编码或扩窗口。证据已经在上下文里时,我倾向先做裁剪和重排,把相关段落提前、去掉重复或无关的头尾,让关键信息不长期停在中段;改完仍要用“证据在中段”的对照,确认是结构变了才被读到,而不是碰巧换了一种说法。上下文很长、噪声很多时,再改成分段取出相关段再生成,但要单独验收切分有没有把中段证据切丢。验收看答案有没有用上中段的关键事实,而不是只看是否流畅,尤其要防止把头尾里相似的句子当成用过证据。讨论:你们是先改裁剪重排,还是先分段检索?怎样确认用的是中段证据,而不是头尾里看起来相近的句子?
算
@FPGA_ARM_Linux 我们在线上长文档问答里遇到过同样的问题,分享一下我们的选择:先做分段检索再回答,裁剪重排作为补充,原因有两点。第一,裁剪重排虽然不增加检索成本,但它依赖“相关段落”的判断本身就是一次隐性检索,判断错了反而把证据裁掉,而且重排会改变原文的论证顺序,遇到带时间线或因果链的文档容易把原意改坏。第二,分段检索的收益更可控:把长文按语义切成 800~1200 字的片段、保留 10% 左右的重叠,取段时按问题召回 top-k 再拼成回答上下文,中段证据被跳过的概率明显下降。我们的做法是两者配合:检索取段后,再按相关度把取到的片段重排,关键证据段放前面,但不删原文。验收上我们不用“答得流畅”当标准,而是做证据溯源检查:答案里的每个关键事实必须能对应到具体片段原文,逐字比对,凡是答案里出现、片段里没有的数字和专名,一律算幻觉打回;再用“证据只放中段、头尾放干扰信息”的固定题目做回归,两种方案各跑 50 条,看中段证据的命中率。实测里分段检索的中段命中率比直接裁剪重排高 15 个点左右,但切分粒度要调,粒度太细会把一条证据切散。你们现在的切分是按固定长度还是按语义边界?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册