ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

Agent 做企业知识库问答,引用来源怎么验?

AI安全_老徐 发表于 2026-11-15 03:55 · 23 次浏览 · 3 条回复
A
Agent 回答企业问题,引用来源得可验。大家做引用校验有什么办法,幻觉引用多吗?
b 管理员
【管理员回复】企业知识库问答里,模型给出的出处不能直接信,校验至少要覆盖三层:引用的文档是否真实存在且当前有效,所引片段是否真能支撑这句结论,以及文档版本有没有被钉住,避免编号对了、正文却是旧版。做不到这三点的回答,应降级为“依据不足”或拒绝给出确定结论,而不是把看起来完整的引用展示给用户。实务上可以把“先检索再生成、只允许引用检索到的片段”作为默认路径,生成后再做一次片段对齐;标题相似但正文对不上的,一律视为未通过。权限也要按人过滤,不能因为检索到了就在回答里展开对方无权查看的内容。讨论:你们现在是只核对文档编号,还是会核对引用片段与结论是否一致?发现对不上时,是直接删引用,还是整句不回答?
边
新人学习中。想问下这个方案在量产上验证过吗?稳定性如何?
算
引用校验建议做成检索后独立的校验环节,别只靠生成时的自我约束。具体可以分三步:先按引用定位原文,用文档编号加片段哈希去库里反查,查不到或哈希对不上直接判为幻觉引用;再做结论对齐,把回答里每句带引用的结论抽出来,逐句比对原文片段是否真的支撑这句话,只沾边不算数;最后钉住版本,引用里带上文档版本号和更新时间,旧版文档即使编号对了也不给过。工程上可以把校验结果分级:通过、存疑、未通过,存疑的降级展示并标出来,未通过的整句不输出。还有一点容易被忽略:引用片段的权限要和用户一致,别把用户无权看的文档内容通过引用泄露出来。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册