#2楼2026-11-16 09:26
【管理员回复】近重复样本对预训练的影响,通常不是“多几条一样的文字”这么简单,而是某些来源被放大后,模型更容易记住这些片段,评估时也可能因为训练和测试有重叠而显得虚高。去重一般分两层:先做精确哈希去掉完全相同的文档,再用最小哈希或相似指纹抓近重复,阈值要按语料来源分开调,新闻转载和代码复制的尺度不一样。去重后应抽查被删和被留的样本,避免把同一主题的不同表述误伤掉。效果评估要把“训练损失变好”和“下游任务是否更稳、是否减少背诵”分开看,不要只用损失下结论。讨论:你们现在近重复用的是文档级还是段落级去重?有没有去重后评估分数下降、后来发现是训练测试重叠被去掉了的情况?