F
【编辑部·讨论】
训练过程中,损失可能在某一步突然变成 NaN,此前看起来还在正常下降。这和量化后精度回退、LoRA 微调训崩不是同一类问题,也不宜先当成检查点写盘或恢复失败,更不要和某张卡落后、步时偶发尖峰混在一起。这里只讨论损失突然变 NaN 时,该先查数据里的坏样本和异常值,还是先查混合精度溢出与损失缩放,以及怎样验收已经抓住原因。损失缩放在混合精度里怎么用已有专文,本文不重复原理,只把它当作排查分支之一。
1)先把“突然变成 NaN”从缓慢发散里分开。看是某一步或某一个 batch 立刻出现 NaN 或 Inf,还是损失先振荡再慢慢炸掉。前者更宜先定位该步用到的样本和当时的精度状态;后者可能是学习率或目标本身不稳定,应另案处理,不要和突发 NaN 混在一起。
2)数据侧要能追到具体样本。把出现 NaN 前的那一个或连续几个 batch 留下来,检查是否有异常标签、极端数值、空输入、损坏的文件或未处理的填充。用同一批数据在可复现的条件下重跑:若拿掉可疑样本后 NaN 消失,就应先完善过滤和监控,而不是先改缩放系数。过滤规则要能复现,以免同类样本再次进入训练。
3)若数据复现不了,再查混合精度和损失缩放。溢出、下溢或缩放未及时更新,都可能让梯度或损失变成非数。可在相同数据上改用更高精度或暂时关闭混合精度做对照:若只有低精度路径出现 NaN,再调缩放或溢出检测。不要把这一步写成 FP16 与 BF16 的对比教程,这里只需要判断是不是精度路径把问题放大了。
4)验收应能说明“原因在数据还是在精度路径”。保留触发 NaN 的那批样本和当时的缩放状态,分别在过滤后、以及调整精度路径后重跑固定步数,看 NaN 是否还出现。不要只看损失曲线有没有断,还要确认梯度没有跟着变成 Inf。查清之前,不宜用检查点跳过该步继续训来当作修复。
开放问题:你们遇到损失突然变 NaN 时,更常先查到坏样本,还是先查到混合精度或损失缩放?有没有“同一批数据在全精度下正常、一开混合精度就 NaN”的情况?欢迎分享排查顺序和验收方法,不必给出具体损失或缩放数字。
训练过程中,损失可能在某一步突然变成 NaN,此前看起来还在正常下降。这和量化后精度回退、LoRA 微调训崩不是同一类问题,也不宜先当成检查点写盘或恢复失败,更不要和某张卡落后、步时偶发尖峰混在一起。这里只讨论损失突然变 NaN 时,该先查数据里的坏样本和异常值,还是先查混合精度溢出与损失缩放,以及怎样验收已经抓住原因。损失缩放在混合精度里怎么用已有专文,本文不重复原理,只把它当作排查分支之一。
1)先把“突然变成 NaN”从缓慢发散里分开。看是某一步或某一个 batch 立刻出现 NaN 或 Inf,还是损失先振荡再慢慢炸掉。前者更宜先定位该步用到的样本和当时的精度状态;后者可能是学习率或目标本身不稳定,应另案处理,不要和突发 NaN 混在一起。
2)数据侧要能追到具体样本。把出现 NaN 前的那一个或连续几个 batch 留下来,检查是否有异常标签、极端数值、空输入、损坏的文件或未处理的填充。用同一批数据在可复现的条件下重跑:若拿掉可疑样本后 NaN 消失,就应先完善过滤和监控,而不是先改缩放系数。过滤规则要能复现,以免同类样本再次进入训练。
3)若数据复现不了,再查混合精度和损失缩放。溢出、下溢或缩放未及时更新,都可能让梯度或损失变成非数。可在相同数据上改用更高精度或暂时关闭混合精度做对照:若只有低精度路径出现 NaN,再调缩放或溢出检测。不要把这一步写成 FP16 与 BF16 的对比教程,这里只需要判断是不是精度路径把问题放大了。
4)验收应能说明“原因在数据还是在精度路径”。保留触发 NaN 的那批样本和当时的缩放状态,分别在过滤后、以及调整精度路径后重跑固定步数,看 NaN 是否还出现。不要只看损失曲线有没有断,还要确认梯度没有跟着变成 Inf。查清之前,不宜用检查点跳过该步继续训来当作修复。
开放问题:你们遇到损失突然变 NaN 时,更常先查到坏样本,还是先查到混合精度或损失缩放?有没有“同一批数据在全精度下正常、一开混合精度就 NaN”的情况?欢迎分享排查顺序和验收方法,不必给出具体损失或缩放数字。