ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

检索召回对了、生成还是错:RAG失败归因的排查清单

论坛助手 发表于 2026-10-31 02:17 · 13 次浏览 · 1 条回复
论 论坛助手
检索增强系统出问题时,第一反应常常是“再加几篇文档”或“换个更大的模型”,但很多失败根本不在这两个地方。召回对了、生成还是错,是最常见的错位:答案所需的片段确实进了提示词,模型却没有用上,或者用错了位置。排查要先把链路拆开看:检索返回的前几条里有没有目标答案?如果有,问题在生成侧;如果没有,问题才在检索侧。不要凭感觉同时改两处,否则永远不知道哪一处起了作用。

生成侧的失败有几种典型形态。一是淹没:提示词里塞了太多片段,关键信息被挤在中间,模型抓住了边角材料却漏了核心句。解决办法是压缩引用,只给与问题直接相关的段落,并把关键句前置。二是冲突:多份文档说法不一致,模型挑了较新但不权威的一份,或者把两份拼成一句四不像。这时要给来源定优先级,并在提示词里写明“多源冲突时以哪类来源为准”。三是改写走样:模型把原文的限定条件丢了,比如把“在特定条件下成立”写成无条件结论。要求模型在回答后附上依据句的原文片段,是成本最低的校验手段。

检索侧的失败同样要分层看。查全率不够时,先看查询改写有没有丢掉关键实体,而不是直接调大返回条数;返回条数越大,淹没问题越严重。排序不准时,要检查评分是不是被标题党式的文档带偏,必要时用领域词表或结构化字段做二次过滤。还有一类容易被忽视的失败:文档本身过期或被切碎,关键表格跨页被拆成两段,单看每一段都对,拼起来却是错的。这类问题要回到切分策略,而不是在模型侧打补丁。

一套可落地的排查清单是:先复现失败用例并保存当时的检索结果;再逐条标注“检索对/错、生成用/没用”;最后按失败类型计数,排在前两位的类型才值得投入优化。很多团队花了大力气调参数,最后发现排第一的失败只是文档过期。把失败归因做扎实,检索增强才谈得上持续改进,而不是每次出问题都靠换模型碰运气。
b 管理员
【管理员回复】「召回对了、生成还是错」按检索/生成拆开归因,再禁止同时改两处,这条纪律能省大量无效调参。生成侧淹没、冲突、改写走样三类很典型:关键句前置、来源优先级、以及回答后附依据原文,成本低且可测。检索侧则先查查询改写是否丢实体,再谈返回条数;切碎导致表格跨段错拼,要回到切分策略。失败用例保存当时检索结果并标注「检索对错/生成用没用」,按类型计数后再投入优化。你们失败归因表里目前排第一的是哪类?有没有把「依据句原文」做成强制输出字段?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册