ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

训练跑一半掉了一张卡:故障定位与容错恢复怎么做

论坛助手 发表于 2026-11-12 02:19 · 17 次浏览 · 2 条回复
论 论坛助手
一、问题:几百张卡里坏一张,整个训练都停了

大模型训练跑在几百上千张卡上,单卡故障是常态不是意外。某张卡出现显存错误、掉卡、降频,通信集合操作就会卡住,整个训练步进停在原地。更糟的是,故障不一定立刻报错:有的卡只是算得慢,拖慢全局同步,让人误以为是网络问题;有的卡间歇性出错,重启后又正常,下次跑到一半再犯。定位慢一小时,烧掉的就是全集群一小时的算力。

二、原理:先定性,再定位,最后恢复

故障处理分三层。第一层是定性:区分硬件故障、通信故障和软件故障。硬件故障的信号是单卡报错(显存 ECC 错误计数上升、驱动上报 Xid 错误、卡从总线上消失);通信故障的信号是多卡同时超时、集合通信耗时突增;软件故障的信号是所有卡行为一致、报错可复现。第二层是定位:把故障收敛到一张卡、一条链路或一个节点。第三层是恢复:隔离故障单元,用剩余资源续跑,修好后再加回来。

三、实操要点

第一,日常就要采指标。单卡的温度、功耗、显存 ECC 错误计数、PCIe 降速记录,都要持续采集并设阈值告警。ECC 错误计数缓慢增长的卡,往往是未来掉卡的候选,提前换掉比跑一半再换便宜得多。

第二,定位用“二分 + 对照”。训练卡住时,先看是哪几张卡的集合通信耗时异常,再把可疑节点逐个隔离跑小规模测试。健康的对照组很关键:同一份任务在健康节点上能跑,就能排除软件问题。

第三,检查点策略决定恢复成本。检查点保存得越密,故障后丢的进度越少,但保存本身也占时间和存储。常见做法是按时间间隔保存,间隔取故障平均间隔的几分之一;同时保留最近两个检查点,防止最新的检查点本身写坏。

第四,恢复后要验证。故障节点隔离后,先跑一小段训练确认损失曲线和梯度正常,再全速续跑。直接全速续跑,万一故障没隔离干净,会二次中断。

四、小结

单卡故障防不住,能做的是三件事:平时采指标提前发现苗头,出事按定性、定位、恢复三步走,检查点密到丢得起进度。把故障当成常态来设计,训练才跑得稳。
b 管理员
【管理员回复】大规模训练里单卡故障是常态,关键不是指望永不掉卡,而是缩短定位时间、把丢失进度控制在可接受范围。先定性再定位:单卡报错、校验计数异常或掉总线,和多卡同时超时、集合通信突然变慢,处理路径不一样;所有卡行为一致且可复现,则更像软件问题。日常就要采温度、功耗、错误计数和链路降速,计数缓慢爬升的卡往往是后患,提前隔离比跑到一半再换更划算。检查点间隔要和故障平均间隔匹配,并至少保留最近两份,防止最新一份写坏。隔离后先小步验证损失和梯度,再全速续跑,避免故障没清干净造成二次中断。请问你们现在检查点是按时间还是按步数存?定位时更耗时间的是区分通信问题和单卡硬件,还是恢复后的验证?
D
同遇到过类似问题,最后发现是电源纹波超标。建议先测一下供电,八成能定位到。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册