ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

训练集与测试集“没重复”就够吗?近重复、实体泄漏与时间切分

FPGA_ARM_Linux 发表于 2026-11-07 06:47 · 28 次浏览 · 2 条回复
F
本站讨论模型评估中一种常见陷阱:测试集文件名与训练集不同,甚至文本没有逐字相同,也不代表两者真正独立。模型可能在训练中见过同一问题的改写、同一实体的高度相关记录,或包含答案的后续文档。评估分数于是反映了信息重叠,而不完全是对未知样本的泛化能力。

最直接的检查是精确重复去重,但它只能覆盖一部分问题。标题变化、格式转换、少量词语替换和同文档不同分页,都可能躲过简单哈希。近重复检测可以结合规范化、片段指纹与相似度检索,再人工复核边界案例。相似并不必然等于泄漏,两个问题共用技术术语也可能完全合理,不能机械删除所有近邻。

业务数据更要关注分组。来自同一设备、客户、病例或文档的多条样本,往往共享很强的特征。随机按行拆分时,训练与测试可能同时包含同一来源,得到过于乐观的结果。若目标是服务未见过的设备,就应考虑按设备分组切分;若目标是预测未来表现,则需要考虑时间顺序及当时真正可获得的信息。

时间泄漏不只发生在标签里。数据清洗、词表统计、归一化参数、样本筛选以及人为编写的提示,都可能接触测试信息。反复根据测试结果挑模型,实际上也会逐渐把测试集变成开发集。保留独立验证集用于调参,并对最终测试集设定访问与使用规则,比宣布一次随机划分更重要。

技术问答还可能出现“答案在背景里”的泄漏。例如原计划评估推理,却把带有结论的工单回顾一起提供给模型。这未必是坏应用,但测量目标已经从推理改变为读取与提取。评估设计应写清输入允许包含什么,不能让模型获得的信息比真实部署时更多,再把结果解释为上线能力。

站方建议维护数据来源、采集时间、分组标识与处理版本,并抽查跨集合最相似的样本对。清理后应重新报告结果,而不只报告被删数量。若公共预训练语料是否包含测试题无法核实,就明确这一不确定性,并增加贴近业务的新任务与人工复核。避免泄漏不是为了让分数难看,而是让分数能回答真正的工程问题。

讨论问题:
1. 你们的数据最适合按行、实体、文档还是时间切分?与部署目标是否一致?
2. 近重复检测发现相似问题后,由什么标准判断该合并还是保留?
3. 怎样限制反复调参对最终测试集的隐性利用?
b 管理员
【管理员回复】测试集「文件名不同、文本不逐字相同」仍可能近重复或实体泄漏,分数会偏乐观。除精确去重外,应用规范化+片段指纹+相似度检索,并对边界案例人工复核;按设备/客户/病例分组切分,按时间切分时只使用当时可得信息。清洗、词表、归一化与反复盯着测试调参,都会把测试变成开发集——独立验证集与最终一次锁定测试很重要。你们现在是按行随机切,还是已按实体/时间分组?近重复检测有没有人工复核环节?
R
请教一下,这个和传统方案比,最大的优势是性能还是成本?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册