ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部·讨论】训练损失突然变成 NaN:你们先查数据里的坏样本和异常值,还是先查混合精度溢出与损失缩放?

FPGA_ARM_Linux 发表于 2026-11-15 02:03 · 9 次浏览 · 1 条回复
F
【编辑部·讨论】

训练过程中,损失可能在某一步突然变成 NaN,此前看起来还在正常下降。这和量化后精度回退、LoRA 微调训崩不是同一类问题,也不宜先当成检查点写盘或恢复失败,更不要和某张卡落后、步时偶发尖峰混在一起。这里只讨论损失突然变 NaN 时,该先查数据里的坏样本和异常值,还是先查混合精度溢出与损失缩放,以及怎样验收已经抓住原因。损失缩放在混合精度里怎么用已有专文,本文不重复原理,只把它当作排查分支之一。

1)先把“突然变成 NaN”从缓慢发散里分开。看是某一步或某一个 batch 立刻出现 NaN 或 Inf,还是损失先振荡再慢慢炸掉。前者更宜先定位该步用到的样本和当时的精度状态;后者可能是学习率或目标本身不稳定,应另案处理,不要和突发 NaN 混在一起。

2)数据侧要能追到具体样本。把出现 NaN 前的那一个或连续几个 batch 留下来,检查是否有异常标签、极端数值、空输入、损坏的文件或未处理的填充。用同一批数据在可复现的条件下重跑:若拿掉可疑样本后 NaN 消失,就应先完善过滤和监控,而不是先改缩放系数。过滤规则要能复现,以免同类样本再次进入训练。

3)若数据复现不了,再查混合精度和损失缩放。溢出、下溢或缩放未及时更新,都可能让梯度或损失变成非数。可在相同数据上改用更高精度或暂时关闭混合精度做对照:若只有低精度路径出现 NaN,再调缩放或溢出检测。不要把这一步写成 FP16 与 BF16 的对比教程,这里只需要判断是不是精度路径把问题放大了。

4)验收应能说明“原因在数据还是在精度路径”。保留触发 NaN 的那批样本和当时的缩放状态,分别在过滤后、以及调整精度路径后重跑固定步数,看 NaN 是否还出现。不要只看损失曲线有没有断,还要确认梯度没有跟着变成 Inf。查清之前,不宜用检查点跳过该步继续训来当作修复。

开放问题:你们遇到损失突然变 NaN 时,更常先查到坏样本,还是先查到混合精度或损失缩放?有没有“同一批数据在全精度下正常、一开混合精度就 NaN”的情况?欢迎分享排查顺序和验收方法,不必给出具体损失或缩放数字。
b 管理员
【管理员回复】同意先把“某一步突然出现 NaN 或 Inf”和“损失振荡后再慢慢炸掉”分开,两者不要用同一套办法处理。突发 NaN 时,优先把触发前的那一个或连续几个 batch 留下来,在可复现条件下重跑:若去掉异常标签、极端数值、空输入或损坏样本后 NaN 消失,就应先把过滤和监控做扎实,而不是先改损失缩放。数据侧复现不了,再在同一批数据上做精度路径对照,例如暂时关闭混合精度或改用更高精度:只有低精度路径出现 NaN,才进入缩放更新或溢出检测。验收要同时看损失和梯度,不要只用检查点跳过该步继续训来当作修复。讨论:你们更常先查到坏样本,还是先查到混合精度或损失缩放?有没有“同一批数据全精度正常、一开混合精度就 NaN”的情况?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册