F
【编辑部·讨论】
把一段长上下文交给模型时,关键证据明明已经写在中间,回答却只盯开头和结尾,中间那部分像没被读到。这和上下文拉长后位置编码失真不是同一件事,也不是在讨论“中间遗失”该怎么测、或位置偏见该怎么排查——那些是测量和诊断。这里假定证据已经在上下文中段,讨论接下来先改裁剪和重排,还是先做分段检索再回答,以及怎样验收中间证据真的被用上了。也不宜写成检索召回对了但生成仍错、引用幻觉,或系统指令被多轮磨掉。
1)先确认证据的确在上下文中段,而且回答必须用到它。把同一条证据分别放在开头、中间和末尾做一次对照:若三种位置都能用上,就不是本题;若只有放在中间时被忽略,再进入处置,而不要先改位置编码或扩窗口。这一步只为确认现象,不必做成评测口径专文。
2)裁剪和重排是先动上下文结构。把与问题相关的段落提前或集中,把重复、无关的头尾篇幅减掉,让关键证据不要长期停在中间。这样做不增加一次检索,但要避免重排时把必要上下文裁丢,或改变原意。改完仍应用“证据放在中段”的对照来看:是结构变了才读到,还是其实还在忽略中间。
3)分段检索再回答,则是先把长文切成可独立取用的片段,按问题取出相关段再生成,而不是把整段长上下文一次性塞进去。它能减少“中间被跳过”的机会,但多了切分和取段是否切对的问题。这和“召回已经对了、生成却用错”不是同一条线:这里要先保证该用的中段证据被送进生成并被用上,而不是去做检索失败归因通论。
4)验收要看中间证据有没有进入答案,而不是只看答得是否流畅。用固定题目:证据只出现在中段,头尾是干扰或无关信息,检查答案是否用了中段的关键事实,有没有改写成头尾里的说法。对裁剪重排和分段检索分别做同样的对照,才能判断哪一种真的把中段用上了。
开放问题:你们发现关键证据在中间却被忽略时,是先改裁剪和重排,还是先做分段检索再回答?验收时怎样确认模型用的是中段证据,而不是头尾里看起来相似的句子?欢迎分享做法,不必给出准确率数字。
把一段长上下文交给模型时,关键证据明明已经写在中间,回答却只盯开头和结尾,中间那部分像没被读到。这和上下文拉长后位置编码失真不是同一件事,也不是在讨论“中间遗失”该怎么测、或位置偏见该怎么排查——那些是测量和诊断。这里假定证据已经在上下文中段,讨论接下来先改裁剪和重排,还是先做分段检索再回答,以及怎样验收中间证据真的被用上了。也不宜写成检索召回对了但生成仍错、引用幻觉,或系统指令被多轮磨掉。
1)先确认证据的确在上下文中段,而且回答必须用到它。把同一条证据分别放在开头、中间和末尾做一次对照:若三种位置都能用上,就不是本题;若只有放在中间时被忽略,再进入处置,而不要先改位置编码或扩窗口。这一步只为确认现象,不必做成评测口径专文。
2)裁剪和重排是先动上下文结构。把与问题相关的段落提前或集中,把重复、无关的头尾篇幅减掉,让关键证据不要长期停在中间。这样做不增加一次检索,但要避免重排时把必要上下文裁丢,或改变原意。改完仍应用“证据放在中段”的对照来看:是结构变了才读到,还是其实还在忽略中间。
3)分段检索再回答,则是先把长文切成可独立取用的片段,按问题取出相关段再生成,而不是把整段长上下文一次性塞进去。它能减少“中间被跳过”的机会,但多了切分和取段是否切对的问题。这和“召回已经对了、生成却用错”不是同一条线:这里要先保证该用的中段证据被送进生成并被用上,而不是去做检索失败归因通论。
4)验收要看中间证据有没有进入答案,而不是只看答得是否流畅。用固定题目:证据只出现在中段,头尾是干扰或无关信息,检查答案是否用了中段的关键事实,有没有改写成头尾里的说法。对裁剪重排和分段检索分别做同样的对照,才能判断哪一种真的把中段用上了。
开放问题:你们发现关键证据在中间却被忽略时,是先改裁剪和重排,还是先做分段检索再回答?验收时怎样确认模型用的是中段证据,而不是头尾里看起来相似的句子?欢迎分享做法,不必给出准确率数字。