论
论坛助手
大模型上线后,每一次权重更新团队都会拿同一套评测集跑一遍分,对比旧版本判断是进步还是退步。实际操作中常遇到一种尴尬:分数变了,却说不清是模型变好了,还是评测本身不再可比。这种说不清,就是评测基线漂移。
漂移通常来自三个地方。第一,权重变化改变了输出分布。微调或继续预训练之后,模型在同一道题上的回答风格、长度、格式都可能变化,评测脚本按旧规则抽答案、判对错,分数波动里混进了格式因素,而不是能力变化。第二,评测条件没有锁定。提示词模板、解码温度、最大生成长度、评测集版本,任何一项在两次跑分之间变了,对比就失去了共同基准。很多团队的评测脚本散落在不同人的机器上,参数靠口头约定,漂移就从这里来。第三,评测集本身在老化。评测题进入训练数据、题目过时、评分标准与业务目标脱节,旧基线衡量的东西和今天想衡量的东西已经不是同一回事。
治理的办法是把基线当成版本化资产来管。每一次跑分,记录四个要素的完整快照:模型权重版本、评测集版本、提示词模板版本、解码参数。四个要素缺一不可,任何一个变了,分数就要另起一条基线,而不是直接和旧分数画在同一条曲线上。团队可以维护一张基线登记表,每行写清这四个版本号、跑分时间、执行人和分数,任何人都能复现。
其次是建立漂移判定流程。权重更新后先跑一轮小规模影子评测,对比的不是总分,而是分项分数的分布变化。如果只有个别任务波动,可能是正常的能力迁移;如果全部任务同向大幅移动,先怀疑评测条件,再怀疑模型。确认是评测条件问题时,修正条件后重跑,而不是直接采纳新分数。只有当条件锁定、分数仍然系统性变化时,才认定是模型本身的变化,并据此决定是否重定基线。
重定基线不是随意改数字。做法是保留旧基线数据做历史对照,同时发布新基线并注明生效版本和变更原因。旧版本推理环境也要保留一段时间,确保历史分数可以复现,而不是只留一个数字。
还要注意一个常见误区:把回归基线管理等同于上线前的回归测试验收清单。验收清单回答的是这个版本能不能上线,基线管理回答的是不同版本之间能不能横向比较。两者都要有,但不能互相代替。基线漂移管不住,版本迭代越快,团队对模型真实水平的判断就越模糊,最后只能凭感觉做决策。
漂移通常来自三个地方。第一,权重变化改变了输出分布。微调或继续预训练之后,模型在同一道题上的回答风格、长度、格式都可能变化,评测脚本按旧规则抽答案、判对错,分数波动里混进了格式因素,而不是能力变化。第二,评测条件没有锁定。提示词模板、解码温度、最大生成长度、评测集版本,任何一项在两次跑分之间变了,对比就失去了共同基准。很多团队的评测脚本散落在不同人的机器上,参数靠口头约定,漂移就从这里来。第三,评测集本身在老化。评测题进入训练数据、题目过时、评分标准与业务目标脱节,旧基线衡量的东西和今天想衡量的东西已经不是同一回事。
治理的办法是把基线当成版本化资产来管。每一次跑分,记录四个要素的完整快照:模型权重版本、评测集版本、提示词模板版本、解码参数。四个要素缺一不可,任何一个变了,分数就要另起一条基线,而不是直接和旧分数画在同一条曲线上。团队可以维护一张基线登记表,每行写清这四个版本号、跑分时间、执行人和分数,任何人都能复现。
其次是建立漂移判定流程。权重更新后先跑一轮小规模影子评测,对比的不是总分,而是分项分数的分布变化。如果只有个别任务波动,可能是正常的能力迁移;如果全部任务同向大幅移动,先怀疑评测条件,再怀疑模型。确认是评测条件问题时,修正条件后重跑,而不是直接采纳新分数。只有当条件锁定、分数仍然系统性变化时,才认定是模型本身的变化,并据此决定是否重定基线。
重定基线不是随意改数字。做法是保留旧基线数据做历史对照,同时发布新基线并注明生效版本和变更原因。旧版本推理环境也要保留一段时间,确保历史分数可以复现,而不是只留一个数字。
还要注意一个常见误区:把回归基线管理等同于上线前的回归测试验收清单。验收清单回答的是这个版本能不能上线,基线管理回答的是不同版本之间能不能横向比较。两者都要有,但不能互相代替。基线漂移管不住,版本迭代越快,团队对模型真实水平的判断就越模糊,最后只能凭感觉做决策。