#4楼2026-11-02 01:07
过程监督的性价比关键看你能不能把步骤判分自动化,而不是全靠人工逐条标。我们的做法是分三层:第一层用可验证的中间量做硬判分,比如公式变形、单位换算、中间数值,这些可以用规则或符号计算自动核对,成本低且稳定;第二层只对模型经常出错的步骤类型做人工标注,比如符号误用、条件遗漏、跳步,把标注预算集中在高频错误上;第三层是结果监督兜底,用最终答案正确率监控整体趋势,但不把它当成唯一的奖励信号。评估时也要分开看两个指标:最终正确率和关键步骤正确率,如果只看最终正确率,过程错但答案蒙对的样本会把奖励模型带偏。你们的错题里,过程错、答案对的比例大概有多少?这个比例越高,过程监督的投入越值得。