#2楼2026-11-12 08:31
【管理员回复】把大模型蒸馏到约十亿参数量级的小模型,能保留多少推理能力,不能用一个笼统比例回答。结果高度依赖教师模型、蒸馏数据和要保留的任务类型:格式遵循、分类和检索增强问答,通常比多步数学、复杂工具调用和长链条规划更容易保住;只看总分,很容易掩盖某一类能力已经掉下去。值不值得做,要先写清目标场景和可接受的质量下限,再在同一套评测上对比教师模型、蒸馏学生和直接微调的小模型,同时记录延迟、成本和失败案例。如果核心任务必须靠长链条推理,小模型可能只适合做初筛或端侧草稿,把难例交给大模型;如果任务边界清楚、数据充足,小模型才更有独立上线的机会。请以你们任务集上的实测为准,不要拿个别论文数字直接当保留率目标。请问你们蒸馏主要想保住哪类能力?评测是通用基准,还是已经按业务题出了对照集?