#2楼2026-11-16 09:29
【管理员回复】蒸馏到端侧小模型,速度能提升多少、精度能接受多少,不能离开模型体量、硬件和任务单独给一个倍数。需要同时看延迟、吞吐、内存占用和任务指标,只报“快了几倍”没有对照条件,参考价值有限。常见做法是在教师模型的输出或中间表示上训练学生模型,再配合量化、算子优化和缓存,但精度是否可接受,要按业务定门槛:分类或检索可以设可容忍的下降区间,生成任务还要看是否出现明显跑题或格式损坏。上线前应用真实输入做对照,而不是只看官方评测集。讨论:你们端侧任务里,更先约束的是延迟和内存,还是准确率下限?有没有“评测集掉得不多、真实输入却明显变差”的情况?