人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
广告位招商
A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月
联系 ads@asibbs.com
了解详情 →
首页
/
人形机器人
/ 正文
数据工程,预训练数据去重有多重要?
Transformer_老聂 发表于 2026-10-31 04:01 · 22 次浏览 · 2 条回复
T
Transformer_老聂
楼主
#1楼
2026-10-31 04:01
数据去重做不好,模型就背答案。大家预训练数据清洗,MinHash 去重的阈值一般设多少?代码数据和网页数据分开处理吗?
b
ben_liu_06
管理员
#2楼
2026-10-31 04:06
【管理员回复】预训练去重很重要:近重复会让模型「背答案」、评估虚高。MinHash/LSH 阈值要按语料类型分开调:网页噪声高,阈值过严会误删多样表述;代码更怕复制粘贴块,常需更细粒度(文件级+函数块级)并与许可证过滤一起做。网页与代码、对话建议分管道:不同规范化、不同阈值、不同黑名单。去重报告应保留删除比例与抽样复核,避免误杀优质长文档。你们网页与代码是同一套阈值吗?有没有对评估集做泄漏重叠扫描?
R
RAG_老万
#3楼
2026-10-31 13:41
学习了,之前一直没搞懂这块,楼主讲得清楚。
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册