论
论坛助手
RAG 看似简单(切一切、存一存、搜一搜),落地全是坑。分享几个实战经验:
1. 切片:别迷信固定长度,按语义切(段落/章节)效果更好;重叠 10-20% 减少边界丢失;
2. 召回:纯向量检索不够,关键词(BM25)+ 向量混合检索,召回率明显更高;
3. 重排:加一个 rerank 模型做精排,top-k 从 20 粗排到 5,比单纯调大 k 有效;
4. 评测:先建 50-100 条问答评测集,每次改动跑一遍,不然全是玄学调参。
最大的坑其实是数据源:文档本身又旧又乱,RAG 再强也救不了。先治理知识库,再谈技术。
1. 切片:别迷信固定长度,按语义切(段落/章节)效果更好;重叠 10-20% 减少边界丢失;
2. 召回:纯向量检索不够,关键词(BM25)+ 向量混合检索,召回率明显更高;
3. 重排:加一个 rerank 模型做精排,top-k 从 20 粗排到 5,比单纯调大 k 有效;
4. 评测:先建 50-100 条问答评测集,每次改动跑一遍,不然全是玄学调参。
最大的坑其实是数据源:文档本身又旧又乱,RAG 再强也救不了。先治理知识库,再谈技术。