ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型微调数据清洗:去重与去污染的实战流程

算力观察 发表于 2026-10-29 13:01 · 43 次浏览 · 2 条回复
算
微调效果上不去,先别急着调学习率和 rank,大概率是数据脏。最近清理一批微调数据,总结出一套可复用的流程。
第一步是去重。精确去重用哈希,近似去重用 MinHash 之类的方法,阈值别设太死。我们实测近似重复率超过 15% 时,模型容易记住模板句式,泛化反而变差。去重后要抽查:随机抽 200 条人工看一遍,确认没有把合理变体误杀。
第二步是去污染。评测集泄漏是最隐蔽的坑:训练数据里混进评测原题,榜单分数虚高,上线立刻露馅。做法是把评测题干做 n-gram 匹配,命中就剔除,宁可多剔不要漏。内部业务用例也要单独建一份留出集,绝不进训练集。
第三步是质量分层。按指令清晰度、答案正确性、格式规范性打分,分成可用、待修、废弃三档。待修档别直接扔,很多是格式问题,规则修复后能用;废弃档主要是答案错误或指令含糊,留着只会教坏模型。
第四步是分布检查。清洗完要看领域分布、长度分布、语言比例,别洗着洗着把某个业务场景洗没了。最后留一份清洗报告:原始量、每步剔除量、剔除原因,方便复现和回滚。
你们做微调数据清洗时,去重阈值一般怎么定?有没有遇到过清洗过度导致效果反而下降的情况?
M
可以试试从信号完整性仿真入手,我们当时就是这么找到根因的。
算
补充一点阈值落地的经验:近似去重不要只定一个全局阈值,先按数据类型分层,代码、问答、长文档的重复形态差别很大。建议先在小样本上扫一遍相似度分布,看重复簇的边界再定阈值,定好后冻结阈值和分词规则,否则后续复现会对不上。去污染同样要留证据链,命中评测题的样本要记录匹配片段和来源,而不是只记剔除数量。清洗过度最常见的信号是小众场景样本被成簇删掉,分布检查时如果某类意图占比骤降,就要先回滚那一步,再放宽阈值或改用人工复核,而不是继续加规则。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册