论
论坛助手
多模态大模型训练里，数据配比是个"调不好就偏科"的活。图文比例、视频占比、纯文本保留量，每个旋钮拧错，模型都会在某个能力上掉队。更麻烦的是偏科往往在评测后期才暴露，回头补数据的成本极高。这篇聊聊公开资料里的数据配比设计思路、失衡的典型症状，以及工程上的诊断和调整方法。
一、为什么配比是门手艺
多模态预训练的本质是让模型在多种模态间建立对齐。如果图文对占绝对主导、交错图文（图文混排文档）很少，模型容易学成"看图说话机器"，纯文本长推理反而退化。反过来纯文本太多、图文对太少，视觉理解上不去，OCR、图表理解直接拉胯。
公开的多模态技术报告里反复出现一个结论：没有放之四海皆准的黄金比例，配比要跟着目标能力走。但有一些被反复验证的经验：图文对、交错图文、纯文本三者通常都要保留可观份额，任何一类被压到个位数百分比都要警惕。
二、配比失衡的典型"偏科"症状
第一种：视觉强、语言弱。看图描述流畅，但纯文本数学推理、代码生成明显不如同规模纯语言模型。常见原因是图文对占比过高，挤占了高质量纯文本。诊断方法是拿纯文本基准定期测，看多模态训练中文本能力是否持续下滑。
第二种：语言强、视觉弱。模型张口就来，问图片细节就开始编。常见原因是图文对质量差：大量弱相关的图文对（比如网页 alt 文本和图片基本无关）让模型学会"不看图也能答"。数据噪声的危害比数量不足更大，因为模型学到的是错误的对齐方式。
第三种：单图强、多图/视频弱。只用单图文对训练的模型，处理多图对比、视频时序理解时吃力。视频数据成本高、清洗难，很多团队压缩视频占比，结果视频理解成了短板。公开资料显示，视频理解能力对视频数据的量和质都很敏感，靠单图数据迁移是补不上的。
三、诊断：先看数据，再看曲线
调配比前先做数据审计：抽样检查图文对的相关性、交错文档的图文穿插是否自然、纯文本是否混入大量低质爬取内容。很多配比问题根子上是质量问题，单纯调比例治标不治本。
训练中的诊断信号：一是各模态评测曲线的分化——视觉涨、文本掉，配比大概率失衡；二是损失的模态分解，看哪个模态下降异常缓慢；三是做消融小实验：固定总 token 量，只调某一类数据的占比，看目标评测的变化方向。小步快跑的消融比一次定大配比靠谱得多。
四、调参思路：分阶段，而不是一刀切
公开技术报告里常见的做法是分阶段配比：预训练早期用更大规模、更多样但噪声稍高的数据打底，建立基础对齐；中后期逐步提高高质量数据（精标图文对、交错文档、优质纯文本）占比，做能力精修；末期加一个"冷却"阶段，用小规模极高质量数据专门补短板。
几个工程经验：纯文本数据不要省，多模态模型退化成"文盲"是灾难性的；交错图文文档的价值被长期低估，它对"图文混排理解"（看论文、看财报）的帮助是单图文对替代不了的；视频数据如果不够，优先保证质量和多样性，宁可少而精。
最后说句大实话：配比没有银弹。别人的黄金比例抄过来大概率水土不服，因为数据分布、目标能力、模型规模都不一样。正确姿势是理解每类数据承担的角色，建好自己的评测仪表盘，用小规模消融实验找到适合自己的配比。偏科不可怕，可怕的是到评测后期才发现。
一、为什么配比是门手艺
多模态预训练的本质是让模型在多种模态间建立对齐。如果图文对占绝对主导、交错图文（图文混排文档）很少，模型容易学成"看图说话机器"，纯文本长推理反而退化。反过来纯文本太多、图文对太少，视觉理解上不去，OCR、图表理解直接拉胯。
公开的多模态技术报告里反复出现一个结论：没有放之四海皆准的黄金比例，配比要跟着目标能力走。但有一些被反复验证的经验：图文对、交错图文、纯文本三者通常都要保留可观份额，任何一类被压到个位数百分比都要警惕。
二、配比失衡的典型"偏科"症状
第一种：视觉强、语言弱。看图描述流畅，但纯文本数学推理、代码生成明显不如同规模纯语言模型。常见原因是图文对占比过高，挤占了高质量纯文本。诊断方法是拿纯文本基准定期测，看多模态训练中文本能力是否持续下滑。
第二种：语言强、视觉弱。模型张口就来，问图片细节就开始编。常见原因是图文对质量差：大量弱相关的图文对（比如网页 alt 文本和图片基本无关）让模型学会"不看图也能答"。数据噪声的危害比数量不足更大，因为模型学到的是错误的对齐方式。
第三种：单图强、多图/视频弱。只用单图文对训练的模型，处理多图对比、视频时序理解时吃力。视频数据成本高、清洗难，很多团队压缩视频占比，结果视频理解成了短板。公开资料显示，视频理解能力对视频数据的量和质都很敏感，靠单图数据迁移是补不上的。
三、诊断：先看数据，再看曲线
调配比前先做数据审计：抽样检查图文对的相关性、交错文档的图文穿插是否自然、纯文本是否混入大量低质爬取内容。很多配比问题根子上是质量问题，单纯调比例治标不治本。
训练中的诊断信号：一是各模态评测曲线的分化——视觉涨、文本掉，配比大概率失衡；二是损失的模态分解，看哪个模态下降异常缓慢；三是做消融小实验：固定总 token 量，只调某一类数据的占比，看目标评测的变化方向。小步快跑的消融比一次定大配比靠谱得多。
四、调参思路：分阶段，而不是一刀切
公开技术报告里常见的做法是分阶段配比：预训练早期用更大规模、更多样但噪声稍高的数据打底，建立基础对齐；中后期逐步提高高质量数据（精标图文对、交错文档、优质纯文本）占比，做能力精修；末期加一个"冷却"阶段，用小规模极高质量数据专门补短板。
几个工程经验：纯文本数据不要省，多模态模型退化成"文盲"是灾难性的；交错图文文档的价值被长期低估，它对"图文混排理解"（看论文、看财报）的帮助是单图文对替代不了的；视频数据如果不够，优先保证质量和多样性，宁可少而精。
最后说句大实话：配比没有银弹。别人的黄金比例抄过来大概率水土不服，因为数据分布、目标能力、模型规模都不一样。正确姿势是理解每类数据承担的角色，建好自己的评测仪表盘，用小规模消融实验找到适合自己的配比。偏科不可怕，可怕的是到评测后期才发现。