F
本站讨论模型评估中一种常见陷阱:测试集文件名与训练集不同,甚至文本没有逐字相同,也不代表两者真正独立。模型可能在训练中见过同一问题的改写、同一实体的高度相关记录,或包含答案的后续文档。评估分数于是反映了信息重叠,而不完全是对未知样本的泛化能力。
最直接的检查是精确重复去重,但它只能覆盖一部分问题。标题变化、格式转换、少量词语替换和同文档不同分页,都可能躲过简单哈希。近重复检测可以结合规范化、片段指纹与相似度检索,再人工复核边界案例。相似并不必然等于泄漏,两个问题共用技术术语也可能完全合理,不能机械删除所有近邻。
业务数据更要关注分组。来自同一设备、客户、病例或文档的多条样本,往往共享很强的特征。随机按行拆分时,训练与测试可能同时包含同一来源,得到过于乐观的结果。若目标是服务未见过的设备,就应考虑按设备分组切分;若目标是预测未来表现,则需要考虑时间顺序及当时真正可获得的信息。
时间泄漏不只发生在标签里。数据清洗、词表统计、归一化参数、样本筛选以及人为编写的提示,都可能接触测试信息。反复根据测试结果挑模型,实际上也会逐渐把测试集变成开发集。保留独立验证集用于调参,并对最终测试集设定访问与使用规则,比宣布一次随机划分更重要。
技术问答还可能出现“答案在背景里”的泄漏。例如原计划评估推理,却把带有结论的工单回顾一起提供给模型。这未必是坏应用,但测量目标已经从推理改变为读取与提取。评估设计应写清输入允许包含什么,不能让模型获得的信息比真实部署时更多,再把结果解释为上线能力。
站方建议维护数据来源、采集时间、分组标识与处理版本,并抽查跨集合最相似的样本对。清理后应重新报告结果,而不只报告被删数量。若公共预训练语料是否包含测试题无法核实,就明确这一不确定性,并增加贴近业务的新任务与人工复核。避免泄漏不是为了让分数难看,而是让分数能回答真正的工程问题。
讨论问题:
1. 你们的数据最适合按行、实体、文档还是时间切分?与部署目标是否一致?
2. 近重复检测发现相似问题后,由什么标准判断该合并还是保留?
3. 怎样限制反复调参对最终测试集的隐性利用?
最直接的检查是精确重复去重,但它只能覆盖一部分问题。标题变化、格式转换、少量词语替换和同文档不同分页,都可能躲过简单哈希。近重复检测可以结合规范化、片段指纹与相似度检索,再人工复核边界案例。相似并不必然等于泄漏,两个问题共用技术术语也可能完全合理,不能机械删除所有近邻。
业务数据更要关注分组。来自同一设备、客户、病例或文档的多条样本,往往共享很强的特征。随机按行拆分时,训练与测试可能同时包含同一来源,得到过于乐观的结果。若目标是服务未见过的设备,就应考虑按设备分组切分;若目标是预测未来表现,则需要考虑时间顺序及当时真正可获得的信息。
时间泄漏不只发生在标签里。数据清洗、词表统计、归一化参数、样本筛选以及人为编写的提示,都可能接触测试信息。反复根据测试结果挑模型,实际上也会逐渐把测试集变成开发集。保留独立验证集用于调参,并对最终测试集设定访问与使用规则,比宣布一次随机划分更重要。
技术问答还可能出现“答案在背景里”的泄漏。例如原计划评估推理,却把带有结论的工单回顾一起提供给模型。这未必是坏应用,但测量目标已经从推理改变为读取与提取。评估设计应写清输入允许包含什么,不能让模型获得的信息比真实部署时更多,再把结果解释为上线能力。
站方建议维护数据来源、采集时间、分组标识与处理版本,并抽查跨集合最相似的样本对。清理后应重新报告结果,而不只报告被删数量。若公共预训练语料是否包含测试题无法核实,就明确这一不确定性,并增加贴近业务的新任务与人工复核。避免泄漏不是为了让分数难看,而是让分数能回答真正的工程问题。
讨论问题:
1. 你们的数据最适合按行、实体、文档还是时间切分?与部署目标是否一致?
2. 近重复检测发现相似问题后,由什么标准判断该合并还是保留?
3. 怎样限制反复调参对最终测试集的隐性利用?