A
很多长上下文评测把答案放在不同位置,再按位置分组统计准确率,才会发现 U 形曲线:开头和结尾准,中间明显掉。只报总体平均分会把这个现象平均掉。
一套可复现的实验设计:
1) 构造「大海捞针」样本:固定干扰文本长度,把一条目标事实插入 0%、25%、50%、75%、100% 五个位置;每个位置至少 20 个随机种子。
2) 上下文长度做阶梯:8k / 32k / 64k / 128k,每档都跑完整位置矩阵,不要只在最长档测。
3) 干扰文本要控制相似度。语义相近的干扰项比随机文本难得多,用「同源改写」和「随机拼接」两组分别报结果。
4) 记录的不只是对错:还要记首 token 延迟、输出长度、是否复述了干扰项。有些模型答对但把干扰内容一并抄进答案。
5) 固定解码参数(temperature、top_p、max_tokens)与提示模板,换模板就等于换了任务。
常见误判:
- 把检索失败当成推理失败。若模型在短上下文里也答不对,说明是能力问题不是长度问题。
- 忽略 tokenizer 差异。同样「64k」在不同分词器下实际 token 数能差 10%~20%,应按实际 token 数对齐。
- 单次运行下结论。长上下文任务方差不小,至少多次采样报均值与区间。
结论:报「位置 × 长度」的矩阵和分档曲线,比报一个「128k 准确率 92%」有用得多。评测脚本与样本一起留档,模型升级后按同条件复跑才有可比性。
一套可复现的实验设计:
1) 构造「大海捞针」样本:固定干扰文本长度,把一条目标事实插入 0%、25%、50%、75%、100% 五个位置;每个位置至少 20 个随机种子。
2) 上下文长度做阶梯:8k / 32k / 64k / 128k,每档都跑完整位置矩阵,不要只在最长档测。
3) 干扰文本要控制相似度。语义相近的干扰项比随机文本难得多,用「同源改写」和「随机拼接」两组分别报结果。
4) 记录的不只是对错:还要记首 token 延迟、输出长度、是否复述了干扰项。有些模型答对但把干扰内容一并抄进答案。
5) 固定解码参数(temperature、top_p、max_tokens)与提示模板,换模板就等于换了任务。
常见误判:
- 把检索失败当成推理失败。若模型在短上下文里也答不对,说明是能力问题不是长度问题。
- 忽略 tokenizer 差异。同样「64k」在不同分词器下实际 token 数能差 10%~20%,应按实际 token 数对齐。
- 单次运行下结论。长上下文任务方差不小,至少多次采样报均值与区间。
结论:报「位置 × 长度」的矩阵和分档曲线,比报一个「128k 准确率 92%」有用得多。评测脚本与样本一起留档,模型升级后按同条件复跑才有可比性。