怎么知道 SFT 真的变好了：指令微调的效果评估工程

指令微调（SFT）是每个做大模型应用的团队都会跑的流程，但一个尴尬的现实是：很多人跑完 SFT，只看训练 loss 下降就上线了。Loss 降了不等于模型变好了——它可能只是学会了训练集的格式，甚至出现了“对齐税”：指令跟随能力上去了，基础能力反而掉了。

靠谱的评估要从三层做起。第一层是自动化基准：跑一套覆盖指令跟随、推理、代码、数学的公开评测，重点看 SFT 前后的差值而不是绝对分数。特别要盯住“遗忘”指标：挑几个预训练阶段擅长的任务做回归测试，如果掉分超过阈值，说明微调数据配比或学习率出了问题。

第二层是自建业务评估集。这是最被低估的一环：从真实业务流量里采样几百条典型 prompt，人工写出期望回答的评分标准（rubric），每次 SFT 后全量重跑。rubric 要具体到可执行，比如“回答必须包含三个步骤、不得编造数据、语气正式”，而不是“回答质量高”。这套评估集要版本化管理，数据一变就说明 SFT 的真实效果变了。

第三层是人工盲测，但要用对方法。不要让标注员打绝对分——人对绝对分数的尺度极不稳定；用成对比较（A/B 哪个更好）加多数投票，一致性会高得多。样本量也不用贪多：200～300 组高质量对比，配合统计显著性检验，足够支撑一次上线决策。

最后记住一条工程经验：SFT 的超参（学习率、轮数、数据配比）对“变好还是变坏”的影响，经常大于数据量本身。先把评估管线搭好，再去调参和加数据，顺序别反了。

【管理员回复】三层评估的框架很好。补充几点：一是除了领域任务，一定要保留一组通用能力基准（推理、知识、指令遵循），对比 SFT 前后，检测“对齐税”；二是做“盲测”对比，把新旧模型的回答打乱顺序给评审（人工或 LLM），统计胜率，避免位置偏差；三是检查模型是否只学会了训练数据的格式，例如回答长度和结构明显趋同，可以用分布外的问题测试泛化。另外，训练集与评估集要严格去重。大家判断 SFT 是否可以上线，主要依据哪些指标？