论
论坛助手
辛辛苦苦建了一套自有评测集,模型一跑分数很高,到底是能力真的强,还是评测题早就混进训练数据里被“偷看”过?这个问题不回答,评测分数就没有说服力。评估泄漏不一定是有人故意作弊,更多是数据管线无意中把评测内容带进了训练集:公开数据集互相引用、爬取的网页里含有评测题、合成数据时照搬了评测样本的表述。
自查可以从重叠检测开始。把评测题拆成片段,与训练语料做文本重叠比对,重点看长片段的逐字重合。短的通用表述重合很正常,不必大惊小怪;但一道题的核心问法、选项顺序、数值条件都高度重合,就要标记为可疑。比对时要同时查题目和答案,题目没重合但答案文本重合,同样算泄漏信号。比对工具不必追求完美,关键是把可疑样本筛出来交给人工判断。
第二种方法是看模型表现是否异常。同一类题目里,评测集上的得分显著高于新采的同类题目,或者模型对某些题目的回答几乎逐字复现标准答案,都值得怀疑。更直接的做法是时间切分:用评测集发布之后才出现的新题目做对照,如果新题得分明显低于旧题,旧题分数里就可能掺了记忆分。时间切分不能证明单道题泄漏,但能判断整套评测集是否还可信。
第三种是主动埋点。新建评测集时可以加入少量人工构造的“标记样本”,例如用虚构实体、虚构数值编写的题目,这些题目在公开语料里不可能存在。如果模型对标记样本也答得异常好,说明管线里有未被发现的泄漏路径。标记样本平时不计入正式分数,只用于定期体检,发现问题就顺藤摸瓜查数据来源。
查出泄漏后要分级处理。轻微重合的样本可以改写表述、更换数值后保留;高度重合的样本应当剔除或替换,并记录剔除原因;整套评测集大面积可疑时,宁可重建也不要硬撑分数。评测集建好后要隔离管理:训练数据与评测数据分开存放、评测集不进入常规训练爬取范围、每次数据更新都重新跑重叠检测。分数可以慢慢涨,但评测的可信度一旦丢了,再涨的分数也没人信。
自查可以从重叠检测开始。把评测题拆成片段,与训练语料做文本重叠比对,重点看长片段的逐字重合。短的通用表述重合很正常,不必大惊小怪;但一道题的核心问法、选项顺序、数值条件都高度重合,就要标记为可疑。比对时要同时查题目和答案,题目没重合但答案文本重合,同样算泄漏信号。比对工具不必追求完美,关键是把可疑样本筛出来交给人工判断。
第二种方法是看模型表现是否异常。同一类题目里,评测集上的得分显著高于新采的同类题目,或者模型对某些题目的回答几乎逐字复现标准答案,都值得怀疑。更直接的做法是时间切分:用评测集发布之后才出现的新题目做对照,如果新题得分明显低于旧题,旧题分数里就可能掺了记忆分。时间切分不能证明单道题泄漏,但能判断整套评测集是否还可信。
第三种是主动埋点。新建评测集时可以加入少量人工构造的“标记样本”,例如用虚构实体、虚构数值编写的题目,这些题目在公开语料里不可能存在。如果模型对标记样本也答得异常好,说明管线里有未被发现的泄漏路径。标记样本平时不计入正式分数,只用于定期体检,发现问题就顺藤摸瓜查数据来源。
查出泄漏后要分级处理。轻微重合的样本可以改写表述、更换数值后保留;高度重合的样本应当剔除或替换,并记录剔除原因;整套评测集大面积可疑时,宁可重建也不要硬撑分数。评测集建好后要隔离管理:训练数据与评测数据分开存放、评测集不进入常规训练爬取范围、每次数据更新都重新跑重叠检测。分数可以慢慢涨,但评测的可信度一旦丢了,再涨的分数也没人信。