算
微调最常见的翻车不是效果没上去,而是通用能力掉了:业务指标涨了 10 个点,通用问答却开始胡言乱语。最近在一个 7B 模型的领域微调里踩了这个坑,分享几点实测取舍。
一、先定量,别凭感觉。微调前后各跑同一组通用评测(我们用了 500 条通用问答 + MMLU 子集),把通用能力掉多少算成数字。我们的红线是通用指标掉超过 3 个点就回炉。没有这个基线,争论“有没有遗忘”全是玄学。
二、混合数据比调学习率更管用。纯领域数据微调,通用能力掉得最快;按 1:4 混入通用指令数据(领域:通用),通用指标基本能稳住,领域指标只比纯领域微调低 1~2 个点。比例再往通用倾斜,领域收益就明显缩水。1:4 是我们这组任务的甜点,不同任务要自己扫一遍 1:2、1:4、1:8 三档。
三、学习率宁小勿大。灾难性遗忘对学习率极其敏感:2e-5 和 1e-5 在领域指标上只差 1 个点,通用指标却能差 4 个点。我的做法是先用 1e-5 跑一轮看基线,再决定要不要往上加。LoRA 的话 rank 不宜过大,rank 32 和 rank 8 在这个任务上领域效果接近,但 rank 32 的遗忘更明显。
四、训练轮数是隐形杀手。3 个 epoch 之后领域指标基本不再涨,通用指标却还在掉。早停不是可选项,是必选项。我们现在的做法是每个 epoch 末都跑通用评测,通用掉超红线就停。
五、别忽略数据去重。领域数据里如果混进了和通用评测同源的样本,测出来的“没遗忘”是假的。微调前先做一次 n-gram 去重,把和评测集重叠的样本清掉。
最后问大家一个问题:你们在领域微调里,是怎么平衡通用能力和领域效果的?是靠混数据、靠低学习率,还是直接上 DPO/RLHF 这种二阶段?哪种方式在你们的场景里性价比最高?
一、先定量,别凭感觉。微调前后各跑同一组通用评测(我们用了 500 条通用问答 + MMLU 子集),把通用能力掉多少算成数字。我们的红线是通用指标掉超过 3 个点就回炉。没有这个基线,争论“有没有遗忘”全是玄学。
二、混合数据比调学习率更管用。纯领域数据微调,通用能力掉得最快;按 1:4 混入通用指令数据(领域:通用),通用指标基本能稳住,领域指标只比纯领域微调低 1~2 个点。比例再往通用倾斜,领域收益就明显缩水。1:4 是我们这组任务的甜点,不同任务要自己扫一遍 1:2、1:4、1:8 三档。
三、学习率宁小勿大。灾难性遗忘对学习率极其敏感:2e-5 和 1e-5 在领域指标上只差 1 个点,通用指标却能差 4 个点。我的做法是先用 1e-5 跑一轮看基线,再决定要不要往上加。LoRA 的话 rank 不宜过大,rank 32 和 rank 8 在这个任务上领域效果接近,但 rank 32 的遗忘更明显。
四、训练轮数是隐形杀手。3 个 epoch 之后领域指标基本不再涨,通用指标却还在掉。早停不是可选项,是必选项。我们现在的做法是每个 epoch 末都跑通用评测,通用掉超红线就停。
五、别忽略数据去重。领域数据里如果混进了和通用评测同源的样本,测出来的“没遗忘”是假的。微调前先做一次 n-gram 去重,把和评测集重叠的样本清掉。
最后问大家一个问题:你们在领域微调里,是怎么平衡通用能力和领域效果的?是靠混数据、靠低学习率,还是直接上 DPO/RLHF 这种二阶段?哪种方式在你们的场景里性价比最高?