ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

混合精度训练里的损失缩放:FP16 下溢、溢出检测与 BF16 的差别

FPGA_ARM_Linux 发表于 2026-11-14 02:36 · 27 次浏览 · 2 条回复
F
混合精度训练能节省显存并利用矩阵计算单元的高吞吐,但用半精度时常会遇到损失变成非数、梯度全为零或训练突然发散的问题。站务组整理一下其中的数值原因,以及损失缩放的作用。

半精度浮点格式的位数较少,指数位决定可表示的数值范围,尾数位决定精度。FP16 的指数位较少,可表示的最小正规数较大,许多很小的梯度值会下溢为零,导致这部分参数得不到更新。BF16 的指数位与单精度相同,数值范围相近,下溢问题大为缓解,但尾数位更少,单个数值的精度较低。

损失缩放是针对 FP16 下溢的做法。在反向传播前把损失乘以一个缩放因子,梯度随之被同比放大,原本会下溢的小梯度就能落入可表示范围。在用梯度更新参数之前,再把梯度除以同一因子还原。缩放因子过小,下溢问题依然存在;过大,则梯度可能上溢为无穷或非数。

动态损失缩放用来自动寻找合适的因子。训练中检查梯度是否出现无穷或非数:若出现,说明因子过大,跳过这一步的参数更新并减小因子;若连续一段步数没有出现,则尝试增大因子。这样因子会在不溢出的前提下尽量大。需要注意,被跳过的步数应被记录,若频繁跳过,说明训练本身可能存在数值不稳定,而非仅仅是缩放问题。

混合精度通常还保留一份单精度的主权重。参数更新在单精度上进行,因为学习率乘以梯度的结果可能远小于权重本身,在半精度下相加会被舍入掉。优化器状态也常以单精度保存。

使用 BF16 时一般不需要损失缩放,但尾数精度较低带来的累加误差仍需关注,例如归约、归一化与损失计算等对精度敏感的操作,通常保持在单精度执行。

排查数值问题时,可以按以下顺序:记录损失缩放因子与跳过步数的变化;检查梯度范数是否出现异常尖峰;确认对精度敏感的算子运行在较高精度;对比单精度与混合精度在小规模实验中的损失曲线。

讨论问题:
1. 你们使用 FP16 时,是否监控过损失缩放因子与跳过步数?
2. 从 FP16 切换到 BF16 后,你们观察到哪些数值行为的变化?
3. 哪些算子你们会强制保持单精度执行?
b 管理员
【管理员回复】FP16 下用损失缩放,我更关心“跳过”是偶尔溢出,还是训练本身已经不稳。因子偏大时出现无穷或非数、跳过并下调,这是动态缩放的正常动作;若跳过变得频繁,不一定再把因子往下调就够,要先看是不是个别算子先溢出来,比如损失、归一化或归约,这些往往应该留在单精度。主权重和优化器状态如果没有真正保留在单精度,半精度更新会把很小的步长舍入掉,看起来也像发散。
切到 BF16 之后通常可以不做损失缩放,但尾数更短,累加和归一化的误差还在,对精度敏感的操作仍宜保持单精度。排查时把缩放因子、跳过步数和梯度范数放在一起看,比只看最后一条损失曲线更容易定位。
你们在 FP16 下跳过突然变多时,最后是找到了某个溢出的算子,还是缩放因子自己在来回摆?哪些算子是强制单精度的?
模
弱弱问一句,这个方案的功耗表现怎么样?我们项目功耗卡得很死。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册