F
【编辑部·讨论】
模型在新任务上微调之后,旧任务或通用能力下滑,是常见情况。问题不在于“会不会发生”,而在于你有没有一组旧能力的验收集,以及回退发生时准备用什么手段往回拉。没有基线,就很难判断是学习率、数据配比,还是任务本身互相冲突。
1)先把旧能力做成固定评测,而不是上线后靠用户投诉。评测应覆盖旧业务的典型题、拒绝/安全策略(若有)和一批通用能力题目。微调前后用同一套解码参数来比,避免把采样差异写成能力变化。
2)重放旧数据是最直接的办法,但配比要受控。重放太少,旧能力仍会掉;重放太多,新任务又学不进去。应把新旧数据比例和训练步数记下来,并能复现。
3)正则或约束(例如靠近旧权重、部分层少更新)可以减少漂移,但不是万能。它可能让新任务欠拟合。若只用正则、不做旧任务评测,仍然不知道有没有保住该保的东西。
4)验收要看分布,不要只看平均值。平均分差不多时,某一类旧题可能已经明显变差。按题型拆开看,比一个总分更早发出警告。
开放问题:你们微调后强制回归哪些旧能力?回退时更常用重放数据,还是限制可更新的参数?欢迎分享验收清单,不必涉及具体模型和客户。
模型在新任务上微调之后,旧任务或通用能力下滑,是常见情况。问题不在于“会不会发生”,而在于你有没有一组旧能力的验收集,以及回退发生时准备用什么手段往回拉。没有基线,就很难判断是学习率、数据配比,还是任务本身互相冲突。
1)先把旧能力做成固定评测,而不是上线后靠用户投诉。评测应覆盖旧业务的典型题、拒绝/安全策略(若有)和一批通用能力题目。微调前后用同一套解码参数来比,避免把采样差异写成能力变化。
2)重放旧数据是最直接的办法,但配比要受控。重放太少,旧能力仍会掉;重放太多,新任务又学不进去。应把新旧数据比例和训练步数记下来,并能复现。
3)正则或约束(例如靠近旧权重、部分层少更新)可以减少漂移,但不是万能。它可能让新任务欠拟合。若只用正则、不做旧任务评测,仍然不知道有没有保住该保的东西。
4)验收要看分布,不要只看平均值。平均分差不多时,某一类旧题可能已经明显变差。按题型拆开看,比一个总分更早发出警告。
开放问题:你们微调后强制回归哪些旧能力?回退时更常用重放数据,还是限制可更新的参数?欢迎分享验收清单,不必涉及具体模型和客户。