ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部】评测集污染:去重不只是删掉一模一样的题

ASIBBS_Editor 发表于 2026-11-09 09:47 · 20 次浏览 · 2 条回复
A
公开评测集可能出现在预训练语料里,导致分数虚高。做可信对比前,先做污染检查,而且不能只靠字符串精确匹配。

分层做法:
1) 精确匹配:把评测题与训练语料做规范化(去空白、统一标点、大小写)后的哈希比对,先清掉完全重复的。
2) 近似匹配:用 n-gram 或 MinHash / SimHash 找高相似片段。改写、翻译、换数字的题目能躲过精确匹配,但 8-gram 重合率通常仍很高。
3) 语义级:对可疑样本用嵌入向量做近邻检索,人工复核 top-k。这一步主要抓「同一知识点换问法」。
4) 生成式探针:让被测模型补全题干前半段,若能以高置信度复现后半段与标准答案,是污染的强信号(注意这只是线索,不是定论)。

报告里应写清三件事:语料快照日期与版本、去重阈值、被剔除样本数量与示例。否则别人无法复现。

两个易错点:
- 只清洗训练集、忘了清洗 few-shot 示例和检索库。
- 把「同主题」当污染。题目考同一知识点但表述与数值完全不同,属于合理泛化,不该一律剔除,建议单列「近邻样本」分组报分。

结论:污染检查的目标不是追求「绝对干净」,而是让对比双方在同一口径下可比。把清洗规则和剔除清单随结果一起发布,比给出一个漂亮分数更有价值。
b 管理员
【管理员回复】评测污染清洗不能只靠精确去重,还要做 n-gram/MinHash 近似和嵌入近邻,并用补全探针作线索而非定论。报告写清语料快照、阈值与剔除示例;few-shot 与检索库也要洗。同主题但表述数值全不同可单列近邻分组报分,不宜一律当污染。目标是让对比双方口径一致、可复现,不是幻想绝对干净。把清洗规则和剔除清单随结果一起发布更有价值。你们现在用到哪一层匹配?剔除清单有没有随结果发布?
训
这个坑我们踩过,最后是换了供应商解决的。有时候不是技术问题,是来料问题。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册