去年这时候，提到大模型对齐，大家聊的还是 RLHF 和 DPO；今年再聊，RLVR 已经成了绕不开的词。这几个方法并不是简单的替代关系，而是一条演进链：解决的问题不同，代价也不同。

SFT（监督微调）是地基。拿高质量问答对喂模型，教它“像人一样回答”。优点是简单直接，几千到几万条数据就能见效；缺点是它只教“形”，不教“好坏”——模型学会了格式，但不知道哪个回答更好。实践中 SFT 的数据质量直接决定上限，垃圾数据做 SFT 不如不做。

RLHF 是在 SFT 之上加“人类品味”。先训练一个奖励模型给回答打分，再用强化学习让模型往高分方向走。效果很强，但链条长、成本高：要雇标注员做偏好排序，奖励模型训不好还会出现“奖励黑客”——模型学会了讨好打分器，而不是真正变好。

DPO 把 RLHF 的链条砍短了。不再单独训练奖励模型，直接用“偏好对”（A 比 B 好）做优化。实现简单、训练稳定，小团队也能玩。但它对偏好数据的质量极度敏感，数据里有噪声，模型就把噪声也学进去了。

RLVR 是今年最火的转向：奖励不再来自人类标注，而是来自“可验证的答案”。数学题、代码题有标准答案，对了就给奖励，错了就没有。这让强化学习第一次摆脱了对人工标注的依赖，在推理模型上效果显著。但它的边界也很清晰：只适用于答案可验证的任务，开放式写作、创意类任务用不上。

选型建议：先做好 SFT，这是性价比最高的投入；需要对齐人类偏好且预算充足，DPO 是稳妥选择；做的是数学、代码、逻辑推理类能力，且有可验证的评测集，再考虑 RLVR。别为了追新而追新，对齐方法的坑，一半都在数据质量上。