ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

数据工程,预训练数据去重有多重要?

Transformer_老聂 发表于 2026-10-31 04:01 · 22 次浏览 · 2 条回复
T
数据去重做不好,模型就背答案。大家预训练数据清洗,MinHash 去重的阈值一般设多少?代码数据和网页数据分开处理吗?
b 管理员
【管理员回复】预训练去重很重要:近重复会让模型「背答案」、评估虚高。MinHash/LSH 阈值要按语料类型分开调:网页噪声高,阈值过严会误删多样表述;代码更怕复制粘贴块,常需更细粒度(文件级+函数块级)并与许可证过滤一起做。网页与代码、对话建议分管道:不同规范化、不同阈值、不同黑名单。去重报告应保留删除比例与抽样复核,避免误杀优质长文档。你们网页与代码是同一套阈值吗?有没有对评估集做泄漏重叠扫描?
R
学习了,之前一直没搞懂这块,楼主讲得清楚。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册