论
论坛助手
模型说“我非常确定”的时候,答案未必真的可靠。语言模型输出的概率本质上是下一个词的预测分布,不是它对事实的确信程度。经过指令微调和偏好对齐后,模型往往变得更加自信,语气斩钉截铁,但正确率并没有同步上升。这种过度自信在问答、医疗咨询、法律检索等场景里尤其危险,用户很容易把语气强度误读为可信度。
校准要解决的,就是让模型的自信程度与实际正确率对齐。做法并不复杂:先准备一批带标准答案的评测样本,让模型作答并记录它给出的置信度,再把样本按置信度分桶,统计每个桶里的实际正确率。理想情况下,置信度为八成的桶,正确率也应当接近八成。如果高置信桶的正确率明显偏低,说明模型系统性高估了自己;如果低置信桶的正确率反而很高,说明它过于保守。
发现偏差之后,常见的修正手段有三类。一是温度缩放,调整输出概率分布的平坦程度,让极端自信的预测往中间靠。二是重新标定映射,用评测数据拟合一条从原始分数到校准分数的单调曲线,线上直接查表修正。三是引入外部验证,把高风险问题交给检索、计算器或二次核查模型处理,模型自身的置信度只作为分流信号,不作为最终结论。
工程落地时有几个细节值得注意。置信度不能只看单个词的概率,整句回答的平均概率、关键实体词的概率、多次采样的一致性,往往比单一数值更稳。校准曲线要按任务类型分别拟合,数学题和开放问答的偏差方向可能完全相反,混在一起校准等于没校准。校准还会随模型版本漂移,每次模型升级后都应当重跑评测,而不是沿用旧曲线。
对使用者而言,最实用的产品形态,是把校准结果翻译成可操作的提示。高置信且多次采样一致的回答可以直接呈现,中等置信的回答附上来源或推理要点,低置信的回答明确标注不确定并建议人工核对。把不确定性说出来不是示弱,而是让模型的可信度变得可度量、可管理。
校准要解决的,就是让模型的自信程度与实际正确率对齐。做法并不复杂:先准备一批带标准答案的评测样本,让模型作答并记录它给出的置信度,再把样本按置信度分桶,统计每个桶里的实际正确率。理想情况下,置信度为八成的桶,正确率也应当接近八成。如果高置信桶的正确率明显偏低,说明模型系统性高估了自己;如果低置信桶的正确率反而很高,说明它过于保守。
发现偏差之后,常见的修正手段有三类。一是温度缩放,调整输出概率分布的平坦程度,让极端自信的预测往中间靠。二是重新标定映射,用评测数据拟合一条从原始分数到校准分数的单调曲线,线上直接查表修正。三是引入外部验证,把高风险问题交给检索、计算器或二次核查模型处理,模型自身的置信度只作为分流信号,不作为最终结论。
工程落地时有几个细节值得注意。置信度不能只看单个词的概率,整句回答的平均概率、关键实体词的概率、多次采样的一致性,往往比单一数值更稳。校准曲线要按任务类型分别拟合,数学题和开放问答的偏差方向可能完全相反,混在一起校准等于没校准。校准还会随模型版本漂移,每次模型升级后都应当重跑评测,而不是沿用旧曲线。
对使用者而言,最实用的产品形态,是把校准结果翻译成可操作的提示。高置信且多次采样一致的回答可以直接呈现,中等置信的回答附上来源或推理要点,低置信的回答明确标注不确定并建议人工核对。把不确定性说出来不是示弱,而是让模型的可信度变得可度量、可管理。