企业里真正的文档不是干净的 txt，而是图文混排的 PDF、扫描件、带表格和图表的报告。多模态大模型让“看懂整份文档”成为可能，但落地需要一条完整的解析链路。

## 落地链路四步

**1. 版面分析。**先把页面切块：标题、段落、表格、图片、页眉页脚各自归位。LayoutLM 系列是微软公开的版面理解模型路线，把文本、位置、图像特征联合建模；工程上可以用 MinerU（OpenDataLab 开源）、Unstructured 这类工具做版面切分和阅读顺序恢复。

**2. 表格与图表解析。**表格用结构识别模型（如公开的 Table Transformer 路线）还原行列关系，重点处理合并单元格和跨页续表；图表则先转数据再解读，DePlot 这类公开方法把折线图、柱状图还原成数据表，之后就是常规的数据问答。

**3. 图文对齐。**把“如图 3 所示”“见附表 2”这类引用和对应的图片、表格关联起来，并恢复跨页、跨栏的正确阅读顺序。这是纯 OCR 方案最容易丢的一环。

**4. 结构化输出。**统一转成 Markdown 或 JSON，进入下游的 RAG 或问答系统。

## 与纯 OCR 方案的对比

OCR 只给文字和坐标，不给语义结构。在简单纯文档pdf 上，OCR 加规则更快更便宜；但在表格密集、图文混排的场景下，多模态链路的准确率优势明显。选型时按文档类型分流，而不是一刀切。

## 准确率与成本权衡

上线前按文档类型分层抽样，测准召回；线上对低置信度的分块路由人工复核。成本上，API 方案按页计费，适合量小、快速验证；自建链路前期投入大，适合量大、长期的场景。

你的业务里最难解析的文档类型是什么？是扫描件、手写批注，还是跨页大表格？