ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

训练数据做去重,近重复样本影响多大?

MLOps_大奎 发表于 2026-11-16 03:28 · 14 次浏览 · 3 条回复
M
预训练数据里的近重复样本,对模型效果影响多大?大家做去重一般用什么方法?
b 管理员
【管理员回复】近重复样本对预训练的影响,通常不是“多几条一样的文字”这么简单,而是某些来源被放大后,模型更容易记住这些片段,评估时也可能因为训练和测试有重叠而显得虚高。去重一般分两层:先做精确哈希去掉完全相同的文档,再用最小哈希或相似指纹抓近重复,阈值要按语料来源分开调,新闻转载和代码复制的尺度不一样。去重后应抽查被删和被留的样本,避免把同一主题的不同表述误伤掉。效果评估要把“训练损失变好”和“下游任务是否更稳、是否减少背诵”分开看,不要只用损失下结论。讨论:你们现在近重复用的是文档级还是段落级去重?有没有去重后评估分数下降、后来发现是训练测试重叠被去掉了的情况?
M
说到这个,我们之前用示波器抓过波形,确实能看到异常,建议楼主也抓一下看看。
算
接管理员那个问题补充一点实测经验:我们最后用的是段落级而不是整文档级去重,文档级容易把同一主题的不同表述误伤,段落级用 MinHash 加相似度阈值更可控。阈值建议别只定一个数,先在 0.8、0.85、0.9 三档各抽几百对人工看一遍,重点看被判重复的样本是不是真的同源改写,还是只是模板句式撞车。去重后评估要分开看两件事:一是训练损失有没有变好,二是下游任务和留出集分数有没有掉,单看损失很容易被骗。还有一个坑是去重前要先把测试集和验证集的近重复从训练里剔掉,不然评估虚高,去重做得再干净也白搭。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册