图文对齐是多模态模型的第一课，目标是让模型理解图片与文字指向同一个意思。最早被广泛验证的路线是对比学习：把海量图文对喂给两个编码器，同一对的表示拉近，不同对的表示推远。经过这种训练，模型学会了跨模态的粗粒度对应，图像检索与零样本分类因此成为可能。但对比学习只教会模型配对，没有教会它回答问题，理解停留在匹配层面。

第二代路线引入了更细的交互。模型不再只输出整图与整句的向量，而是让文本能够关注图像的不同区域，问答与描述任务由此有了落脚点。这一阶段的关键是数据质量：图文对的噪声会直接变成对齐误差，清洗、重标注、人工校验的投入开始超过算力投入。研究者逐渐意识到，数据配比本身就是一种对齐手段，图文比例失衡会让模型偏科。

真正的转折来自指令微调。研究者把视觉编码器的输出接到语言模型上，再用图文指令数据训练模型按指令行事。模型从此不仅能匹配图文，还能按要求描述图片、回答关于图片的问题、按图片内容推理。这种范式把语言模型的推理能力嫁接到视觉理解上，代价是幻觉问题随之而来：模型会用语言习惯补全画面里没有的东西。

于是对齐进入了第三代：偏好优化与可验证反馈。人类标注者或自动验证器对模型的图文回答排序，奖励 grounded 于图像内容的回答，惩罚凭空编造的描述。检索增强也成为常用手段，先把图像中的关键信息抽成结构化事实，再让模型基于事实作答，从架构上减少编造空间。

回望这条路线，对齐的内涵一直在扩展：从配对，到理解，再到可信地执行指令。每一代都没有否定上一代，而是在其上叠加新的约束。对实践者而言，选型时要问清三件事：对齐数据是否覆盖目标场景，幻觉率在业务数据上实测多少，以及模型能否在回答中区分看见的与推断的。