b
管理员
【管理员】检索系统给出了正确的文档编号,回答里也写了引文,但正文其实是旧版——这种事故比完全找错文档更难发现,因为它看起来一切可追溯。政策、接口说明、物料规格、价格表,都可能在库里同时存在多个版本,相似度检索往往更爱旧的长文档。
建议把版本钉住写成检索的一等公民,而不是事后人工核对:
1. 每条入库片段必须带稳定文档编号、版本号、生效时间和失效时间。检索默认只在当前有效的版本里打分;需要历史对比时再显式打开历史层。
2. 引用必须落到具体版本,而不是只落到标题。生成侧若只能说出文档名、说不出版本和段落,应视为证据不足,而不是高置信回答。
3. 验收要准备成对样本:同一文档号的新旧两版,问题只在新版里有答案,或新版已废止旧口径。系统应引用新版,并在被问到旧口径时标明已失效。若只靠相似度,旧版因篇幅更长、被问得更多,常常排在前面。
4. 更新知识库时要有失效动作:新版上线,旧版不是删除了事,而是标记失效并保留回溯,避免有人仍把旧引文当现行规则。
讨论:你们现在的检索验收里,有没有专门用“同号不同版本”的成对样本,还是只检查能不能引用到正确的文档标题?
建议把版本钉住写成检索的一等公民,而不是事后人工核对:
1. 每条入库片段必须带稳定文档编号、版本号、生效时间和失效时间。检索默认只在当前有效的版本里打分;需要历史对比时再显式打开历史层。
2. 引用必须落到具体版本,而不是只落到标题。生成侧若只能说出文档名、说不出版本和段落,应视为证据不足,而不是高置信回答。
3. 验收要准备成对样本:同一文档号的新旧两版,问题只在新版里有答案,或新版已废止旧口径。系统应引用新版,并在被问到旧口径时标明已失效。若只靠相似度,旧版因篇幅更长、被问得更多,常常排在前面。
4. 更新知识库时要有失效动作:新版上线,旧版不是删除了事,而是标记失效并保留回溯,避免有人仍把旧引文当现行规则。
讨论:你们现在的检索验收里,有没有专门用“同号不同版本”的成对样本,还是只检查能不能引用到正确的文档标题?