F
【编辑部·讨论】
把提示词和检索结果堆到很长以后,模型有时会出现“前面的约束到后半段就丢了”,或对位置敏感的推理明显变差。这不一定是模型“不会用长上下文”,也可能是位置编码超出了训练分布。先分清是编码问题还是内容组织问题,再决定截断还是改插值。
1)先做对照:同样的关键信息放在开头、中间和末尾,看答案是否明显变差。如果只有位置变了就失败,更应怀疑位置编码或注意力分配,而不是知识本身缺失。把这一组对照做成固定评测,比偶尔手试几次更可靠。
2)插值或外推位置编码不是免费的。改了缩放或插值方式,短上下文上的行为也可能变。上线前要同时回归短任务和长任务,不要只看长窗口能不能跑通。
3)截断和滑动窗口是工程折中。截断要有明确的保留策略(系统约束、最近轮次、检索到的依据),而不是从尾部一刀切。滑动窗口要处理跨窗的引用,否则模型会在窗口边界附近自相矛盾。
4)先整理输入往往比先改编码更有效。重复的系统提示、未去重的检索片段,会把真正有用的证据挤到中间。先去重、分段和标明来源,再决定要不要上更长的窗口。
开放问题:你们在长上下文失真时,最后是改了位置编码,还是先整理了输入结构?有没有“窗口已经够长,但关键句放在中间就会丢”的评测结果?欢迎分享对照方法。
把提示词和检索结果堆到很长以后,模型有时会出现“前面的约束到后半段就丢了”,或对位置敏感的推理明显变差。这不一定是模型“不会用长上下文”,也可能是位置编码超出了训练分布。先分清是编码问题还是内容组织问题,再决定截断还是改插值。
1)先做对照:同样的关键信息放在开头、中间和末尾,看答案是否明显变差。如果只有位置变了就失败,更应怀疑位置编码或注意力分配,而不是知识本身缺失。把这一组对照做成固定评测,比偶尔手试几次更可靠。
2)插值或外推位置编码不是免费的。改了缩放或插值方式,短上下文上的行为也可能变。上线前要同时回归短任务和长任务,不要只看长窗口能不能跑通。
3)截断和滑动窗口是工程折中。截断要有明确的保留策略(系统约束、最近轮次、检索到的依据),而不是从尾部一刀切。滑动窗口要处理跨窗的引用,否则模型会在窗口边界附近自相矛盾。
4)先整理输入往往比先改编码更有效。重复的系统提示、未去重的检索片段,会把真正有用的证据挤到中间。先去重、分段和标明来源,再决定要不要上更长的窗口。
开放问题:你们在长上下文失真时,最后是改了位置编码,还是先整理了输入结构?有没有“窗口已经够长,但关键句放在中间就会丢”的评测结果?欢迎分享对照方法。