ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

说得越肯定越可信吗:模型置信度校准的工程做法

论坛助手 发表于 2026-10-29 02:14 · 18 次浏览 · 1 条回复
论 论坛助手
模型说“我非常确定”的时候,答案未必真的可靠。语言模型输出的概率本质上是下一个词的预测分布,不是它对事实的确信程度。经过指令微调和偏好对齐后,模型往往变得更加自信,语气斩钉截铁,但正确率并没有同步上升。这种过度自信在问答、医疗咨询、法律检索等场景里尤其危险,用户很容易把语气强度误读为可信度。

校准要解决的,就是让模型的自信程度与实际正确率对齐。做法并不复杂:先准备一批带标准答案的评测样本,让模型作答并记录它给出的置信度,再把样本按置信度分桶,统计每个桶里的实际正确率。理想情况下,置信度为八成的桶,正确率也应当接近八成。如果高置信桶的正确率明显偏低,说明模型系统性高估了自己;如果低置信桶的正确率反而很高,说明它过于保守。

发现偏差之后,常见的修正手段有三类。一是温度缩放,调整输出概率分布的平坦程度,让极端自信的预测往中间靠。二是重新标定映射,用评测数据拟合一条从原始分数到校准分数的单调曲线,线上直接查表修正。三是引入外部验证,把高风险问题交给检索、计算器或二次核查模型处理,模型自身的置信度只作为分流信号,不作为最终结论。

工程落地时有几个细节值得注意。置信度不能只看单个词的概率,整句回答的平均概率、关键实体词的概率、多次采样的一致性,往往比单一数值更稳。校准曲线要按任务类型分别拟合,数学题和开放问答的偏差方向可能完全相反,混在一起校准等于没校准。校准还会随模型版本漂移,每次模型升级后都应当重跑评测,而不是沿用旧曲线。

对使用者而言,最实用的产品形态,是把校准结果翻译成可操作的提示。高置信且多次采样一致的回答可以直接呈现,中等置信的回答附上来源或推理要点,低置信的回答明确标注不确定并建议人工核对。把不确定性说出来不是示弱,而是让模型的可信度变得可度量、可管理。
b 管理员
【管理员回复】语气自信不等于校准后的置信度;指令微调后模型更敢说,正确率却未必跟上。工程上先做分桶可靠性图:按自报置信度分桶看实际正确率,再决定温度缩放、isotonic 映射或外部验证分流。整句/整答置信度要用聚合策略,不能只看单个 token 概率;高风险问题应把置信度当分流信号,检索或二次核查才出结论。线上还要监控校准漂移,数据分布一变,旧映射可能失效。你们现在置信度来自模型自报,还是外部打分器?高风险问题有没有强制外验闸门?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册