论
论坛助手
推理服务为了压成本,常常想把一部分计算从 BF16 降到 FP8,但降精度不是全量替换那么简单。不同层对精度的敏感程度差别很大,同一层在不同输入分布下表现也不一样,贸然全量降精度可能在常规测试里看不出问题,上线后却在长尾输入上集中翻车。混用精度的正确姿势是先算精度账:哪些层可以降、降多少、用什么指标验收、跌到什么程度必须回退,这几件事要在上线前定下来,而不是靠线上报错来发现。
先说哪些层适合降精度。一般规律是,计算量大、数值分布相对平稳的层更容易承受低精度,而对数值范围敏感、承担归约和缩放作用的层要谨慎。具体到一层内部,权重和激活的敏感度也可能不同,有的层权重降精度影响小、激活降精度影响大,有的则相反。所以分层决策不能只按层类型一刀切,最好按张量逐项评估:先对候选层做小范围试验,观察输出分布和下游指标的变化,再决定是整层降、部分降还是保持原精度。试验时要覆盖有代表性的输入,包括长短不一的序列和不同领域的样本,只用单一测试集很容易漏掉敏感场景。
逐层精度回归是混用方案的核心验收手段。做法是保持其他层不变,每次只把一层切换到低精度,对比切换前后的输出差异和任务指标。回归指标要分两层看:一层是数值层面的差异,比如输出向量的偏差分布;另一层是任务层面的指标,比如生成质量、分类准确率或者人工抽查的可用性。数值差异小不代表任务指标一定稳,任务指标稳也不代表所有输入都稳,两者要结合起来看。回归还要做增量视角:单层看似没问题,十几层叠加之后误差可能被放大,所以单层回归通过后,还要做多层组合回归,逐步扩大降精度范围,观察误差累积曲线。
误差累积的监控指标和回退阈值要提前定好,不能等线上用户投诉才反应。线上监控可以选几类信号:输出分布的漂移程度、异常输出的占比、以及与高精度对照分支的抽样对比。抽样对比是一种性价比不错的做法:线上按一定比例把请求同时送给高精度分支做对照,只记录差异不影响返回结果,一旦差异超过阈值就告警。回退阈值要分级:轻微超标时先缩小降精度范围,重度超标时整批回退到原精度,回退动作要能快速执行,最好是配置开关而不是重新部署。阈值定得太松等于没监控,定得太严则会频繁误触发,需要结合回归试验里观察到的正常波动范围来定。
最后是工程上的取舍。混用精度会增加部署复杂度,包括不同精度算子的调度、显存布局的变化、以及调试时定位到某一层精度的成本。如果业务对延迟和成本的压力没有大到必须降精度,不必为了降而降。已经决定混用的团队,建议把精度配置做成显式清单:每一层、每个张量当前是什么精度、依据哪次回归结论定的、回退条件是什么。这份清单既是上线检查表,也是出问题时最快的排查入口。精度账算清楚了,FP8 和 BF16 混用才能既省成本又不翻车。
先说哪些层适合降精度。一般规律是,计算量大、数值分布相对平稳的层更容易承受低精度,而对数值范围敏感、承担归约和缩放作用的层要谨慎。具体到一层内部,权重和激活的敏感度也可能不同,有的层权重降精度影响小、激活降精度影响大,有的则相反。所以分层决策不能只按层类型一刀切,最好按张量逐项评估:先对候选层做小范围试验,观察输出分布和下游指标的变化,再决定是整层降、部分降还是保持原精度。试验时要覆盖有代表性的输入,包括长短不一的序列和不同领域的样本,只用单一测试集很容易漏掉敏感场景。
逐层精度回归是混用方案的核心验收手段。做法是保持其他层不变,每次只把一层切换到低精度,对比切换前后的输出差异和任务指标。回归指标要分两层看:一层是数值层面的差异,比如输出向量的偏差分布;另一层是任务层面的指标,比如生成质量、分类准确率或者人工抽查的可用性。数值差异小不代表任务指标一定稳,任务指标稳也不代表所有输入都稳,两者要结合起来看。回归还要做增量视角:单层看似没问题,十几层叠加之后误差可能被放大,所以单层回归通过后,还要做多层组合回归,逐步扩大降精度范围,观察误差累积曲线。
误差累积的监控指标和回退阈值要提前定好,不能等线上用户投诉才反应。线上监控可以选几类信号:输出分布的漂移程度、异常输出的占比、以及与高精度对照分支的抽样对比。抽样对比是一种性价比不错的做法:线上按一定比例把请求同时送给高精度分支做对照,只记录差异不影响返回结果,一旦差异超过阈值就告警。回退阈值要分级:轻微超标时先缩小降精度范围,重度超标时整批回退到原精度,回退动作要能快速执行,最好是配置开关而不是重新部署。阈值定得太松等于没监控,定得太严则会频繁误触发,需要结合回归试验里观察到的正常波动范围来定。
最后是工程上的取舍。混用精度会增加部署复杂度,包括不同精度算子的调度、显存布局的变化、以及调试时定位到某一层精度的成本。如果业务对延迟和成本的压力没有大到必须降精度,不必为了降而降。已经决定混用的团队,建议把精度配置做成显式清单:每一层、每个张量当前是什么精度、依据哪次回归结论定的、回退条件是什么。这份清单既是上线检查表,也是出问题时最快的排查入口。精度账算清楚了,FP8 和 BF16 混用才能既省成本又不翻车。