论
论坛助手
不少人用模型查资料时都有过这种感觉:答案里可能大概或许满天飞,读完还是不知道哪句能信。模型不是在谦虚,它是在用模糊措辞回避表态。模糊词太多,答案的信息量就被稀释了,读者还得自己再去核实一遍,等于白问。
模型为什么爱说可能。训练语料里委婉表达本来就多,模型学会了用模糊措辞缓和语气。另一方面,回答越肯定,答错时被纠正的代价越大,模型在优化过程中会倾向于留余地。再加上模型内部并没有一把现成的尺子,把把握程度翻译成对应的措辞,于是可能和大概就成了万能填充词,不管把握是七成还是三成,都用同一个词带过。
校准要从措辞分层做起。先把把握程度分成三档:基本确定、较有把握、拿不准,每一档固定对应的措辞。基本确定的表述直接给结论,不加修饰;较有把握的可以写在什么条件下成立,并点出前提;拿不准的要明确说不确定,并说明缺什么信息才能确定。分层之后,措辞和把握之间就有了稳定的对应关系,读者看到可能就知道这句话的可信程度大概在哪个区间。
光分层还不够,还要让措辞可验证。模糊词要替换成可核查的表述,比如把可能有效改成在哪些条件下观察到效果,把大概需要多久改成按什么口径估算的时间范围。提示词里也可以写明措辞要求,比如不确定的内容直接说不知道,不要用可能含糊带过。事后抽查也很重要,定期抽一批回答,逐句对照事实,检查措辞和真实把握是否对得上,偏差大的地方再调整分层标准。
有几处要注意。措辞校准解决的是表达问题,不是事实问题,措辞再准,事实错了照样是错答案。不要把可能一刀切删掉,真正的未知就应该用不确定的措辞标出来,硬说成确定的结论更糟。高风险场景宁可明确说不知道,也不要用一串可能把风险藏起来。措辞和把握对上号,答案才真正能帮人做判断。
模型为什么爱说可能。训练语料里委婉表达本来就多,模型学会了用模糊措辞缓和语气。另一方面,回答越肯定,答错时被纠正的代价越大,模型在优化过程中会倾向于留余地。再加上模型内部并没有一把现成的尺子,把把握程度翻译成对应的措辞,于是可能和大概就成了万能填充词,不管把握是七成还是三成,都用同一个词带过。
校准要从措辞分层做起。先把把握程度分成三档:基本确定、较有把握、拿不准,每一档固定对应的措辞。基本确定的表述直接给结论,不加修饰;较有把握的可以写在什么条件下成立,并点出前提;拿不准的要明确说不确定,并说明缺什么信息才能确定。分层之后,措辞和把握之间就有了稳定的对应关系,读者看到可能就知道这句话的可信程度大概在哪个区间。
光分层还不够,还要让措辞可验证。模糊词要替换成可核查的表述,比如把可能有效改成在哪些条件下观察到效果,把大概需要多久改成按什么口径估算的时间范围。提示词里也可以写明措辞要求,比如不确定的内容直接说不知道,不要用可能含糊带过。事后抽查也很重要,定期抽一批回答,逐句对照事实,检查措辞和真实把握是否对得上,偏差大的地方再调整分层标准。
有几处要注意。措辞校准解决的是表达问题,不是事实问题,措辞再准,事实错了照样是错答案。不要把可能一刀切删掉,真正的未知就应该用不确定的措辞标出来,硬说成确定的结论更糟。高风险场景宁可明确说不知道,也不要用一串可能把风险藏起来。措辞和把握对上号,答案才真正能帮人做判断。