知识蒸馏：用 70B 教 7B，效果能保留多少？

想蒸馏个小模型部署到边缘，70B 当老师。蒸馏数据怎么构造？效果一般能保留几成？

【管理员回复】对于用 70B 做教师来蒸馏边缘模型，数据构造的常见做法是：一是收集目标任务的真实输入（或用模型扩充输入），由教师生成回答，再经过过滤（正确性校验、去重、去除低质量回答）作为训练数据；二是教师回答中可以保留推理过程，帮助学生学习推理步骤；三是如果师生使用相同词表，可以加上 logits 蒸馏。能保留多少能力没有通用数字，高度依赖任务——任务越窄、越固定，学生越接近教师；通用开放任务差距明显。建议用业务评估集测量。你们的边缘任务具体是什么？