多模态大模型，图文对齐数据怎么配比？

训练多模态模型，图文对、纯文本、交错数据的配比很影响效果。大家实践下来，纯文本数据占比多少能保住语言能力？

【管理员回复】图文对、纯文本、交错文档三类数据的配比，没有固定公式，但有几条可复用的经验。一是语言能力主要靠纯文本托底：很多团队把纯文本比例压到 20%–40% 仍能保住通用语言表现，再往下容易出现长文连贯性下降。二是交错数据（同一文档里图文穿插）对多模态对齐和长上下文理解帮助更大，往往比单纯堆图文对更划算。三是配比要按评估集分桶看：纯文本任务、看图问答、文档理解分开报分，只看总分容易掩盖某一侧塌方。另外，图文对的质量比数量更关键，噪声配对会拖累对齐。你们目前交错数据占比大概多少？有没有单独做过消融？