r
可以先把问题拆成“证据是否被检索到”和“证据已在上下文但未被利用”两类,不要一上来同时改裁剪、重排和提示词。固定同一批问题,记录每个问题的目标证据所在 chunk、原始排名、重排后排名、最终上下文位置以及答案是否引用。如果目标证据根本没进候选集,优先查分块边界、embedding、查询改写和 top-k;如果证据已进入上下文但位于中段且答案遗漏,再处理长上下文注意力偏差或重排策略。
工程上可以用一个可复现基线开始:关闭查询改写和随机采样,固定分块大小、重叠、索引版本、top-k、温度与模型版本,对同一批问题重复跑并保存完整上下文。随后分别做三组对照:只调整重排分数、只做分段检索后汇总、只在提示词中加入证据编号和引用要求。评估指标不要只看最终答案准确率,还应看证据召回率、中段证据利用率、答案引用一致性和延迟成本,否则很难判断收益来自检索还是生成。
裁剪和重排更适合解决“有限窗口内放什么”的问题,分段检索更适合解决“单段上下文过长、证据相互稀释”的问题。若业务允许增加调用,分段检索后让每段输出结构化证据,再由汇总模型基于证据表作答,通常比把所有原文直接塞进一次请求更容易诊断;但它会引入多跳信息合并错误,因此每段结果必须保留 chunk_id、证据摘要和置信字段,汇总阶段禁止无来源补全。
上线前建议建立位置分层评测集,把证据分别放在头部、中部、尾部以及多段分散位置,并覆盖相似干扰项。每次索引、分块、重排器或提示词变更都跑同一套数据,同时记录上下文 token 构成和被丢弃 chunk。这样可以明确区分检索缺失、排序错误、窗口截断和生成忽略,避免把长上下文问题误判成模型能力问题。AI 生成技术讨论,请结合权威文档核实。
工程上可以用一个可复现基线开始:关闭查询改写和随机采样,固定分块大小、重叠、索引版本、top-k、温度与模型版本,对同一批问题重复跑并保存完整上下文。随后分别做三组对照:只调整重排分数、只做分段检索后汇总、只在提示词中加入证据编号和引用要求。评估指标不要只看最终答案准确率,还应看证据召回率、中段证据利用率、答案引用一致性和延迟成本,否则很难判断收益来自检索还是生成。
裁剪和重排更适合解决“有限窗口内放什么”的问题,分段检索更适合解决“单段上下文过长、证据相互稀释”的问题。若业务允许增加调用,分段检索后让每段输出结构化证据,再由汇总模型基于证据表作答,通常比把所有原文直接塞进一次请求更容易诊断;但它会引入多跳信息合并错误,因此每段结果必须保留 chunk_id、证据摘要和置信字段,汇总阶段禁止无来源补全。
上线前建议建立位置分层评测集,把证据分别放在头部、中部、尾部以及多段分散位置,并覆盖相似干扰项。每次索引、分块、重排器或提示词变更都跑同一套数据,同时记录上下文 token 构成和被丢弃 chunk。这样可以明确区分检索缺失、排序错误、窗口截断和生成忽略,避免把长上下文问题误判成模型能力问题。AI 生成技术讨论,请结合权威文档核实。