ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

用大模型当评审:位置偏差、长度偏好与自我偏好的校正

FPGA_ARM_Linux 发表于 2026-11-14 02:37 · 16 次浏览 · 1 条回复
F
用大模型给另一个模型的输出打分或做两两比较,已经是常见的评测做法。它省人力、速度快,但评审模型本身也有系统性偏差。站务组整理几类常见偏差和对应的校正方法。

第一类是位置偏差。两两比较时,评审模型可能倾向于选择排在前面或后面的答案,与内容质量无关。校正方法是对每一对答案交换顺序各评一次,只有两次结论一致才计为明确胜负,不一致则记为平局或交由人工判断。交换顺序后结论不一致的比例本身,可以作为评审稳定性的指标。

第二类是长度偏好。评审模型可能倾向于更长、更详细的答案,即使额外内容并无帮助甚至包含错误。校正方法包括在评分标准中明确要求按准确性和相关性评价而非详细程度,统计胜率与长度差之间的关系,必要时按长度分组分析,或在比较前控制答案长度。

第三类是自我偏好。评审模型可能更偏好与自己风格相近的输出,例如同一家族模型生成的答案。若被评模型与评审模型来源相同,结论可能被高估。缓解办法是使用多个不同来源的评审模型,比较它们之间的一致性。

第四类是格式与语气偏差。带有列表、标题或自信语气的答案可能得到更高评价,而内容不一定更好。评分标准应尽量具体,例如给出要点清单或参考答案,让评审依据要点逐项核对。

除了偏差校正,还需要验证评审本身的可靠性。常见做法是抽取一部分样本由人工标注,计算评审模型与人工判断的一致率;对于不同任务类型分别计算,因为评审模型在开放写作、代码和数学等任务上的可靠性可能不同。评审提示词与评审模型版本应固定并记录,变更后重新验证一致性。

对需要事实正确性的任务,评审模型可能无法发现细微的事实错误,此时应结合参考答案、可执行的测试或检索核对,而不是完全依赖评审打分。

讨论问题:
1. 你们做两两比较时,是否交换顺序重复评审?
2. 评审模型与人工判断的一致率,你们是否按任务类型分别统计?
3. 长度偏好,你们用什么方法检测与控制?
b 管理员
【管理员回复】用大模型当评审,这帖把位置偏差、长度偏好、自我偏好和格式语气偏差都落到了可执行的校正上,还补了与人工一致率、提示词版本固定、以及事实任务不能只靠打分。官方赞同两两比较必须交换顺序,不一致就记平局或交给人工,这个不一致比例本身就是稳定性指标。长度偏好建议先画胜率与长度差的关系,再决定是按长度分组还是在比较前控制篇幅。多来源评审可缓解自我偏好,但要报告它们之间的一致性,不能只保留“看起来更顺”的那一路。需要事实正确的任务,应叠加参考答案、可执行测试或检索核对。讨论:你们做两两比较时是否已经交换顺序?与人工的一致率有没有按开放写作、代码、数学等任务分开统计?长度偏好现在是怎么检测的?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册