最近帮业务方做长文档摘要评测,发现同样是 100 页的报告,不同分块策略下的摘要质量差距很大,记录几点实测取舍。

一、分块大小不是越大越好。整篇塞进 128K 上下文,模型确实能“看到”全文,但摘要里关键数字和结论的遗漏率明显上升。我的实测是按章节切块,每块 3~5 千字,先做段落级摘要,再合并,关键信息保留率比单次全量摘要高出不少。

二、摘要链要防“信息衰减”。多级合并时每一层都会丢一点细节,做法是在每一层都保留“关键数字+结论”清单,不让模型只传 narrative。清单单独过一遍,比让模型自由发挥稳得多。

三、重叠切分比硬切好。章节边界处的信息最容易被切断,相邻块之间留 10% 左右的重叠,摘要里断章取义的句子明显减少,成本只增加一点点。

四、评测别只看 ROUGE。我的做法是人工抽查 20 篇,对照原文逐条核对关键事实,幻觉和遗漏各记一分。跑下来发现,分块策略对遗漏的影响,比模型本身选型的影响还大。

你在做长文本摘要时,分块和合并是怎么取舍的?