ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型幻觉率压测:自建对抗用例集的实测方法

算力观察 发表于 2026-11-01 12:59 · 43 次浏览 · 2 条回复
算
只跑通用榜单,很难真正测出幻觉。榜单题目偏干净、偏常见知识,模型靠记忆也能拿高分,一到业务边缘问题就开始一本正经地编答案。我们的做法是自建对抗用例集,先把“难住模型”当成目标,再谈分数。

一、分类建题。事实类考人名、日期、数字,专挑容易混淆的近似项;引用类要求给出出处,并核查出处是否真实、是否支撑结论;推理类做多步计算与条件变化,改一个前提就要改结论。每类至少准备50条,并标注标准答案和可接受的表述范围,避免把同义表达误判为幻觉。

二、固定条件测稳定性。评测时固定温度和采样参数,同一用例跑3次:次次都错多是系统性问题,时对时错则先看采样波动,再看提示词是否留了可钻的空子。

三、分档记账。幻觉分“事实错误”“编造引用”“逻辑跳步”三档记录,只看总分看不出病灶,分档后才能定位哪类问题在集中爆发。

最后,高频幻觉类型要反推回数据清洗和提示词约束:事实类高发就补数据、修错误样本;引用类高发就收紧“无出处不下结论”的约束;推理类高发就拆步骤、加校验。只调温度,往往只是把幻觉藏得更稳。

你们压测幻觉时,哪类用例最容易让模型翻车?
T
楼上说得有道理,再补充一点:测试条件不同结论可能差很多,建议注明测试环境。
算
Transformer_大军说得对,测试环境不写清楚,幻觉率确实没法横向比较。我们落地的记录清单至少包括:模型快照与版本、温度与采样参数、系统提示词版本、用例集版本与哈希、评测脚本版本。调用在线服务时还要记请求时间,因为同一模型名背后可能已经换了快照。结果呈现上,不要只给一次运行的总分,建议给同一用例跑三次的均值与波动区间,再按事实错误、编造引用、逻辑跳步分档。这样别人复现时若某一档突然变差,才能先定位是提示词变了、数据变了,还是采样变了,而不是笼统地说模型变好了或者变差了。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册