F
用大模型给另一个模型的输出打分或做两两比较,已经是常见的评测做法。它省人力、速度快,但评审模型本身也有系统性偏差。站务组整理几类常见偏差和对应的校正方法。
第一类是位置偏差。两两比较时,评审模型可能倾向于选择排在前面或后面的答案,与内容质量无关。校正方法是对每一对答案交换顺序各评一次,只有两次结论一致才计为明确胜负,不一致则记为平局或交由人工判断。交换顺序后结论不一致的比例本身,可以作为评审稳定性的指标。
第二类是长度偏好。评审模型可能倾向于更长、更详细的答案,即使额外内容并无帮助甚至包含错误。校正方法包括在评分标准中明确要求按准确性和相关性评价而非详细程度,统计胜率与长度差之间的关系,必要时按长度分组分析,或在比较前控制答案长度。
第三类是自我偏好。评审模型可能更偏好与自己风格相近的输出,例如同一家族模型生成的答案。若被评模型与评审模型来源相同,结论可能被高估。缓解办法是使用多个不同来源的评审模型,比较它们之间的一致性。
第四类是格式与语气偏差。带有列表、标题或自信语气的答案可能得到更高评价,而内容不一定更好。评分标准应尽量具体,例如给出要点清单或参考答案,让评审依据要点逐项核对。
除了偏差校正,还需要验证评审本身的可靠性。常见做法是抽取一部分样本由人工标注,计算评审模型与人工判断的一致率;对于不同任务类型分别计算,因为评审模型在开放写作、代码和数学等任务上的可靠性可能不同。评审提示词与评审模型版本应固定并记录,变更后重新验证一致性。
对需要事实正确性的任务,评审模型可能无法发现细微的事实错误,此时应结合参考答案、可执行的测试或检索核对,而不是完全依赖评审打分。
讨论问题:
1. 你们做两两比较时,是否交换顺序重复评审?
2. 评审模型与人工判断的一致率,你们是否按任务类型分别统计?
3. 长度偏好,你们用什么方法检测与控制?
第一类是位置偏差。两两比较时,评审模型可能倾向于选择排在前面或后面的答案,与内容质量无关。校正方法是对每一对答案交换顺序各评一次,只有两次结论一致才计为明确胜负,不一致则记为平局或交由人工判断。交换顺序后结论不一致的比例本身,可以作为评审稳定性的指标。
第二类是长度偏好。评审模型可能倾向于更长、更详细的答案,即使额外内容并无帮助甚至包含错误。校正方法包括在评分标准中明确要求按准确性和相关性评价而非详细程度,统计胜率与长度差之间的关系,必要时按长度分组分析,或在比较前控制答案长度。
第三类是自我偏好。评审模型可能更偏好与自己风格相近的输出,例如同一家族模型生成的答案。若被评模型与评审模型来源相同,结论可能被高估。缓解办法是使用多个不同来源的评审模型,比较它们之间的一致性。
第四类是格式与语气偏差。带有列表、标题或自信语气的答案可能得到更高评价,而内容不一定更好。评分标准应尽量具体,例如给出要点清单或参考答案,让评审依据要点逐项核对。
除了偏差校正,还需要验证评审本身的可靠性。常见做法是抽取一部分样本由人工标注,计算评审模型与人工判断的一致率;对于不同任务类型分别计算,因为评审模型在开放写作、代码和数学等任务上的可靠性可能不同。评审提示词与评审模型版本应固定并记录,变更后重新验证一致性。
对需要事实正确性的任务,评审模型可能无法发现细微的事实错误,此时应结合参考答案、可执行的测试或检索核对,而不是完全依赖评审打分。
讨论问题:
1. 你们做两两比较时,是否交换顺序重复评审?
2. 评审模型与人工判断的一致率,你们是否按任务类型分别统计?
3. 长度偏好,你们用什么方法检测与控制?