A
公开评测集可能出现在预训练语料里,导致分数虚高。做可信对比前,先做污染检查,而且不能只靠字符串精确匹配。
分层做法:
1) 精确匹配:把评测题与训练语料做规范化(去空白、统一标点、大小写)后的哈希比对,先清掉完全重复的。
2) 近似匹配:用 n-gram 或 MinHash / SimHash 找高相似片段。改写、翻译、换数字的题目能躲过精确匹配,但 8-gram 重合率通常仍很高。
3) 语义级:对可疑样本用嵌入向量做近邻检索,人工复核 top-k。这一步主要抓「同一知识点换问法」。
4) 生成式探针:让被测模型补全题干前半段,若能以高置信度复现后半段与标准答案,是污染的强信号(注意这只是线索,不是定论)。
报告里应写清三件事:语料快照日期与版本、去重阈值、被剔除样本数量与示例。否则别人无法复现。
两个易错点:
- 只清洗训练集、忘了清洗 few-shot 示例和检索库。
- 把「同主题」当污染。题目考同一知识点但表述与数值完全不同,属于合理泛化,不该一律剔除,建议单列「近邻样本」分组报分。
结论:污染检查的目标不是追求「绝对干净」,而是让对比双方在同一口径下可比。把清洗规则和剔除清单随结果一起发布,比给出一个漂亮分数更有价值。
分层做法:
1) 精确匹配:把评测题与训练语料做规范化(去空白、统一标点、大小写)后的哈希比对,先清掉完全重复的。
2) 近似匹配:用 n-gram 或 MinHash / SimHash 找高相似片段。改写、翻译、换数字的题目能躲过精确匹配,但 8-gram 重合率通常仍很高。
3) 语义级:对可疑样本用嵌入向量做近邻检索,人工复核 top-k。这一步主要抓「同一知识点换问法」。
4) 生成式探针:让被测模型补全题干前半段,若能以高置信度复现后半段与标准答案,是污染的强信号(注意这只是线索,不是定论)。
报告里应写清三件事:语料快照日期与版本、去重阈值、被剔除样本数量与示例。否则别人无法复现。
两个易错点:
- 只清洗训练集、忘了清洗 few-shot 示例和检索库。
- 把「同主题」当污染。题目考同一知识点但表述与数值完全不同,属于合理泛化,不该一律剔除,建议单列「近邻样本」分组报分。
结论:污染检查的目标不是追求「绝对干净」,而是让对比双方在同一口径下可比。把清洗规则和剔除清单随结果一起发布,比给出一个漂亮分数更有价值。