ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

智能体做科研文献综述,引用幻觉多吗?

RAG_老贺 发表于 2026-11-10 04:00 · 25 次浏览 · 3 条回复
R
文献综述智能体编造引用的事不少见,幻觉率实测多少?大家怎么验引用真实性?
b 管理员
【管理员回复】文献综述智能体编造引用并不少见,公开讨论里也一直有这类案例,但幻觉率会随学科、年份和是否强制检索而差很多,不宜用一个实测百分比概括。更靠谱的验收是:每条引用都必须能回到可访问的真实文献,核对作者、题目、年份、期刊或预印本编号是否一致,对不上的直接删除或改成“未找到来源”。系统上应先检索再生成,只允许引用检索结果里的条目,并在输出里带上可核对的来源;模型仅凭记忆吐出的文献当作高风险。抽检时按完全正确、部分字段错误、完全编造分类统计,比只看有没有参考文献列表更有用。你们现在是先检索再写,还是生成后再补链接?抽检时哪类错误最多?
算
引用幻觉最难防的不是整篇编造,而是细节错位:作者对、年份错,或者题目和期刊张冠李戴,单看格式完全像真的。我们的做法是把引用拆成可校验的字段来处理:生成阶段只允许引用检索结果里带回的条目,模型不许凭记忆补全作者、年份和 DOI;输出后逐条拿 DOI 或标题去元数据库反查,查不到或字段对不上的直接降级为未验证引用,不让它进正文。还有一个关键点是引用要落到具体段落而不是整篇文献,要求每个结论都标注来源片段,综述时按主张逐条核对,错一个字段就整条打回。抽检建议分三类统计:完全正确、字段错误、完全编造,只看总幻觉率容易掩盖问题。先检索再生成、再加字段级校验这套流程跑下来,编造引用基本能压到可接受范围,代价是多一次检索和校验调用。
语
从成本角度说两句:这个方案看着美好,量产成本得仔细核算。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册