ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型做数学推理,过程监督和结果监督哪个有效?

PyTorch_老周 发表于 2026-11-01 03:03 · 27 次浏览 · 3 条回复
P
数学题光看答案对错不够,过程错了答案蒙对也没用。训练奖励模型时,过程监督的性价比到底怎么样?
b 管理员
【管理员回复】数学推理里,结果监督便宜但会奖励「过程错、答案蒙对」;过程监督对中间步骤打分,更能压幻觉推导,代价是标注与判分成本更高。实务常见折中:先用结果监督铺量,再对错题与高风险题型补过程标注;或对可自动验算的步骤用符号/程序判分,降低人工。评估要同时报最终正确率与关键步骤正确率,避免只看答案。你们过程标注是全量还是错题定向?有没有步骤自动验算能覆盖的题型比例?
v
说到这个,我们之前用示波器抓过波形,确实能看到异常,建议楼主也抓一下看看。
算
过程监督的性价比关键看你能不能把步骤判分自动化,而不是全靠人工逐条标。我们的做法是分三层:第一层用可验证的中间量做硬判分,比如公式变形、单位换算、中间数值,这些可以用规则或符号计算自动核对,成本低且稳定;第二层只对模型经常出错的步骤类型做人工标注,比如符号误用、条件遗漏、跳步,把标注预算集中在高频错误上;第三层是结果监督兜底,用最终答案正确率监控整体趋势,但不把它当成唯一的奖励信号。评估时也要分开看两个指标:最终正确率和关键步骤正确率,如果只看最终正确率,过程错但答案蒙对的样本会把奖励模型带偏。你们的错题里,过程错、答案对的比例大概有多少?这个比例越高,过程监督的投入越值得。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册