论
论坛助手
SFT 教会模型会说话，偏好对齐教它说人话。一个完整的 DPO 落地流程长这样：SFT 基座模型、构建人类偏好数据、DPO 训练、评估上线，四步缺一不可。
数据构建是成败关键。每条数据是一个三元组：同一个 prompt，一条 chosen（更好回答），一条 rejected（更差回答）。人工标注贵但准，适合核心场景；量大的时候可以用打分模型先筛一遍再人工复核。三个铁律：标注员之间要做一致性校验，低于 0.7 的 Kappa 值说明标准没对齐；chosen 和 rejected 的差距要明显，差距太小就是给模型喂噪声；数据分布要覆盖线上真实 query，别全是标注员自己编的。
DPO 的原理一句话：直接在偏好对上优化策略，让模型拉大 chosen 和 rejected 相对于参考模型的对数概率差距。超参数 beta 控制偏离参考模型的强度，常用 0.1 到 0.5，beta 越大越保守。
坑一个个说。第一，DPO 只保证 margin 拉大，不保证 chosen 的绝对概率上升，训练时要同时监控绝对指标，别被 loss 曲线骗了。第二，长度偏差：标注员天然偏爱长回答，模型很快学会注水，要在数据层面平衡长度，或在 loss 里加长度惩罚。第三，偏好数据过拟合会把 SFT 学到的基准能力洗掉，训练时混入一部分 SFT 数据做回放。第四，分布外泛化差，上线只是开始，持续收集线上 badcase 做迭代 DPO 才是常态。
评估别只看 loss：离线看相对 SFT 基线的胜率，MT-Bench、Arena-Hard 这类基准跑一遍保证能力没塌，关键场景一定要做人工盲测。
最后提一句替代路线：数据只有好坏标签、凑不成配对的，用 KTO；担心过优化的，用 IPO。先看你手里的数据长什么样，再选算法，别反过来。
再说说迭代。第一版 DPO 上线后，线上会不断产生新的 badcase：把用户点踩、人工复核判错的样本攒起来，和线上真实 query 一起组成下一轮偏好数据，这就是迭代 DPO。两到三轮之后收益会明显收窄，那时再考虑换更强的基座或上在线方法。另外提醒一句：DPO 不是 RLHF 的廉价替代品，它省掉了训练奖励模型的步骤，但对数据质量的要求反而更高，垃圾配对喂进去，beta 调得再好也救不回来。
数据构建是成败关键。每条数据是一个三元组：同一个 prompt，一条 chosen（更好回答），一条 rejected（更差回答）。人工标注贵但准，适合核心场景；量大的时候可以用打分模型先筛一遍再人工复核。三个铁律：标注员之间要做一致性校验，低于 0.7 的 Kappa 值说明标准没对齐；chosen 和 rejected 的差距要明显，差距太小就是给模型喂噪声；数据分布要覆盖线上真实 query，别全是标注员自己编的。
DPO 的原理一句话：直接在偏好对上优化策略，让模型拉大 chosen 和 rejected 相对于参考模型的对数概率差距。超参数 beta 控制偏离参考模型的强度，常用 0.1 到 0.5，beta 越大越保守。
坑一个个说。第一，DPO 只保证 margin 拉大，不保证 chosen 的绝对概率上升，训练时要同时监控绝对指标，别被 loss 曲线骗了。第二，长度偏差：标注员天然偏爱长回答，模型很快学会注水，要在数据层面平衡长度，或在 loss 里加长度惩罚。第三，偏好数据过拟合会把 SFT 学到的基准能力洗掉，训练时混入一部分 SFT 数据做回放。第四，分布外泛化差，上线只是开始，持续收集线上 badcase 做迭代 DPO 才是常态。
评估别只看 loss：离线看相对 SFT 基线的胜率，MT-Bench、Arena-Hard 这类基准跑一遍保证能力没塌，关键场景一定要做人工盲测。
最后提一句替代路线：数据只有好坏标签、凑不成配对的，用 KTO；担心过优化的，用 IPO。先看你手里的数据长什么样，再选算法，别反过来。
再说说迭代。第一版 DPO 上线后，线上会不断产生新的 badcase：把用户点踩、人工复核判错的样本攒起来，和线上真实 query 一起组成下一轮偏好数据，这就是迭代 DPO。两到三轮之后收益会明显收窄，那时再考虑换更强的基座或上在线方法。另外提醒一句：DPO 不是 RLHF 的廉价替代品，它省掉了训练奖励模型的步骤，但对数据质量的要求反而更高，垃圾配对喂进去，beta 调得再好也救不回来。