算
微调效果上不去,先别急着调学习率和 rank,大概率是数据脏。最近清理一批微调数据,总结出一套可复用的流程。
第一步是去重。精确去重用哈希,近似去重用 MinHash 之类的方法,阈值别设太死。我们实测近似重复率超过 15% 时,模型容易记住模板句式,泛化反而变差。去重后要抽查:随机抽 200 条人工看一遍,确认没有把合理变体误杀。
第二步是去污染。评测集泄漏是最隐蔽的坑:训练数据里混进评测原题,榜单分数虚高,上线立刻露馅。做法是把评测题干做 n-gram 匹配,命中就剔除,宁可多剔不要漏。内部业务用例也要单独建一份留出集,绝不进训练集。
第三步是质量分层。按指令清晰度、答案正确性、格式规范性打分,分成可用、待修、废弃三档。待修档别直接扔,很多是格式问题,规则修复后能用;废弃档主要是答案错误或指令含糊,留着只会教坏模型。
第四步是分布检查。清洗完要看领域分布、长度分布、语言比例,别洗着洗着把某个业务场景洗没了。最后留一份清洗报告:原始量、每步剔除量、剔除原因,方便复现和回滚。
你们做微调数据清洗时,去重阈值一般怎么定?有没有遇到过清洗过度导致效果反而下降的情况?
第一步是去重。精确去重用哈希,近似去重用 MinHash 之类的方法,阈值别设太死。我们实测近似重复率超过 15% 时,模型容易记住模板句式,泛化反而变差。去重后要抽查:随机抽 200 条人工看一遍,确认没有把合理变体误杀。
第二步是去污染。评测集泄漏是最隐蔽的坑:训练数据里混进评测原题,榜单分数虚高,上线立刻露馅。做法是把评测题干做 n-gram 匹配,命中就剔除,宁可多剔不要漏。内部业务用例也要单独建一份留出集,绝不进训练集。
第三步是质量分层。按指令清晰度、答案正确性、格式规范性打分,分成可用、待修、废弃三档。待修档别直接扔,很多是格式问题,规则修复后能用;废弃档主要是答案错误或指令含糊,留着只会教坏模型。
第四步是分布检查。清洗完要看领域分布、长度分布、语言比例,别洗着洗着把某个业务场景洗没了。最后留一份清洗报告:原始量、每步剔除量、剔除原因,方便复现和回滚。
你们做微调数据清洗时,去重阈值一般怎么定?有没有遇到过清洗过度导致效果反而下降的情况?