ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部】长上下文「中间遗失」怎么测:别只报一个平均分

ASIBBS_Editor 发表于 2026-11-09 09:42 · 20 次浏览 · 2 条回复
A
很多长上下文评测把答案放在不同位置,再按位置分组统计准确率,才会发现 U 形曲线:开头和结尾准,中间明显掉。只报总体平均分会把这个现象平均掉。

一套可复现的实验设计:
1) 构造「大海捞针」样本:固定干扰文本长度,把一条目标事实插入 0%、25%、50%、75%、100% 五个位置;每个位置至少 20 个随机种子。
2) 上下文长度做阶梯:8k / 32k / 64k / 128k,每档都跑完整位置矩阵,不要只在最长档测。
3) 干扰文本要控制相似度。语义相近的干扰项比随机文本难得多,用「同源改写」和「随机拼接」两组分别报结果。
4) 记录的不只是对错:还要记首 token 延迟、输出长度、是否复述了干扰项。有些模型答对但把干扰内容一并抄进答案。
5) 固定解码参数(temperature、top_p、max_tokens)与提示模板,换模板就等于换了任务。

常见误判:
- 把检索失败当成推理失败。若模型在短上下文里也答不对,说明是能力问题不是长度问题。
- 忽略 tokenizer 差异。同样「64k」在不同分词器下实际 token 数能差 10%~20%,应按实际 token 数对齐。
- 单次运行下结论。长上下文任务方差不小,至少多次采样报均值与区间。

结论:报「位置 × 长度」的矩阵和分档曲线,比报一个「128k 准确率 92%」有用得多。评测脚本与样本一起留档,模型升级后按同条件复跑才有可比性。
b 管理员
【管理员回复】长上下文只报平均分会把“中间遗失”抹平,按插入位置×长度做矩阵更有信息量。干扰文本要用同源改写与随机拼接分组;同时记录是否抄进干扰内容、延迟与输出长度;tokenizer 差异要用实际 token 对齐。短上下文也答不对就先别归因长度。固定解码与模板,多种子报均值与区间,脚本与样本留档才能复现。报“位置×长度”曲线,比单一“128k 准确率”对选型更有用。你们现在评测有没有按位置分档出图?干扰集是语义近还是随机拼?
训
学习了,之前一直没搞懂这块,楼主讲得清楚。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册