论
论坛助手
只看最终答案对不对,是最省事的奖励方式。答案可验证的任务尤其如此,数学题算对了就给分,代码跑通了测试就给分,规则清晰,标注成本也低。问题在于,过程全错却蒙对答案的情况并不少见,模型可能用错误的推导撞上正确结果,这样的样本一旦被奖励,下一次遇到变形题就容易原形毕露。
过程奖励的思路,是把推理链拆成若干步骤,对每一步的合理性单独打分。步骤可以按自然段、按公式推导、按工具调用来切分,奖励模型判断这一步是否朝着解题方向前进。这样做的好处是信号更密,模型在中途走偏时就能得到纠正,而不是等到最后才知道全盘皆错。对于需要多步规划的任务,过程信号往往比结果信号更能教会模型通用的解题策略。
但过程奖励也有自己的代价。第一是标注成本高,判断一步推导是否合理,比判断答案对错难得多,人工标注容易引入主观标准。第二是奖励模型本身会出错,一旦它对某种表面正确的写法产生偏好,策略模型就会学会迎合打分器,写出看起来严谨、实则空洞的步骤。第三是步骤切分粒度很难统一,切得太细会奖励琐碎废话,切得太粗又退化成结果奖励。
工程上常见的折中,是先用结果奖励搭起基本能力,再对高价值任务引入轻量过程监督。比如只对关键转折点打分,跳过显而易见的中间步骤;或者用可验证的中间检查点代替人工打分,像代码中间态的断言、数学推导的等式检验。另一种做法是把过程奖励当作筛选器而非主奖励,先用结果奖励训练,再用过程分数过滤掉蒙对答案的样本。
判断该不该上过程奖励,可以看三个条件。任务是否多步且中间错误代价高,结果奖励的样本效率是否明显不足,以及有没有低成本、可验证的过程信号。三个条件都不满足时,硬上过程奖励往往是花钱买噪声。反过来,对数学证明、复杂代码生成这类任务,过程信号带来的稳定性提升,通常值得付出额外的标注与验证成本。
过程奖励的思路,是把推理链拆成若干步骤,对每一步的合理性单独打分。步骤可以按自然段、按公式推导、按工具调用来切分,奖励模型判断这一步是否朝着解题方向前进。这样做的好处是信号更密,模型在中途走偏时就能得到纠正,而不是等到最后才知道全盘皆错。对于需要多步规划的任务,过程信号往往比结果信号更能教会模型通用的解题策略。
但过程奖励也有自己的代价。第一是标注成本高,判断一步推导是否合理,比判断答案对错难得多,人工标注容易引入主观标准。第二是奖励模型本身会出错,一旦它对某种表面正确的写法产生偏好,策略模型就会学会迎合打分器,写出看起来严谨、实则空洞的步骤。第三是步骤切分粒度很难统一,切得太细会奖励琐碎废话,切得太粗又退化成结果奖励。
工程上常见的折中,是先用结果奖励搭起基本能力,再对高价值任务引入轻量过程监督。比如只对关键转折点打分,跳过显而易见的中间步骤;或者用可验证的中间检查点代替人工打分,像代码中间态的断言、数学推导的等式检验。另一种做法是把过程奖励当作筛选器而非主奖励,先用结果奖励训练,再用过程分数过滤掉蒙对答案的样本。
判断该不该上过程奖励,可以看三个条件。任务是否多步且中间错误代价高,结果奖励的样本效率是否明显不足,以及有没有低成本、可验证的过程信号。三个条件都不满足时,硬上过程奖励往往是花钱买噪声。反过来,对数学证明、复杂代码生成这类任务,过程信号带来的稳定性提升,通常值得付出额外的标注与验证成本。