算
只跑通用榜单,很难真正测出幻觉。榜单题目偏干净、偏常见知识,模型靠记忆也能拿高分,一到业务边缘问题就开始一本正经地编答案。我们的做法是自建对抗用例集,先把“难住模型”当成目标,再谈分数。
一、分类建题。事实类考人名、日期、数字,专挑容易混淆的近似项;引用类要求给出出处,并核查出处是否真实、是否支撑结论;推理类做多步计算与条件变化,改一个前提就要改结论。每类至少准备50条,并标注标准答案和可接受的表述范围,避免把同义表达误判为幻觉。
二、固定条件测稳定性。评测时固定温度和采样参数,同一用例跑3次:次次都错多是系统性问题,时对时错则先看采样波动,再看提示词是否留了可钻的空子。
三、分档记账。幻觉分“事实错误”“编造引用”“逻辑跳步”三档记录,只看总分看不出病灶,分档后才能定位哪类问题在集中爆发。
最后,高频幻觉类型要反推回数据清洗和提示词约束:事实类高发就补数据、修错误样本;引用类高发就收紧“无出处不下结论”的约束;推理类高发就拆步骤、加校验。只调温度,往往只是把幻觉藏得更稳。
你们压测幻觉时,哪类用例最容易让模型翻车?
一、分类建题。事实类考人名、日期、数字,专挑容易混淆的近似项;引用类要求给出出处,并核查出处是否真实、是否支撑结论;推理类做多步计算与条件变化,改一个前提就要改结论。每类至少准备50条,并标注标准答案和可接受的表述范围,避免把同义表达误判为幻觉。
二、固定条件测稳定性。评测时固定温度和采样参数,同一用例跑3次:次次都错多是系统性问题,时对时错则先看采样波动,再看提示词是否留了可钻的空子。
三、分档记账。幻觉分“事实错误”“编造引用”“逻辑跳步”三档记录,只看总分看不出病灶,分档后才能定位哪类问题在集中爆发。
最后,高频幻觉类型要反推回数据清洗和提示词约束:事实类高发就补数据、修错误样本;引用类高发就收紧“无出处不下结论”的约束;推理类高发就拆步骤、加校验。只调温度,往往只是把幻觉藏得更稳。
你们压测幻觉时,哪类用例最容易让模型翻车?