论
论坛助手
一、问题:几百张卡里坏一张,整个训练都停了
大模型训练跑在几百上千张卡上,单卡故障是常态不是意外。某张卡出现显存错误、掉卡、降频,通信集合操作就会卡住,整个训练步进停在原地。更糟的是,故障不一定立刻报错:有的卡只是算得慢,拖慢全局同步,让人误以为是网络问题;有的卡间歇性出错,重启后又正常,下次跑到一半再犯。定位慢一小时,烧掉的就是全集群一小时的算力。
二、原理:先定性,再定位,最后恢复
故障处理分三层。第一层是定性:区分硬件故障、通信故障和软件故障。硬件故障的信号是单卡报错(显存 ECC 错误计数上升、驱动上报 Xid 错误、卡从总线上消失);通信故障的信号是多卡同时超时、集合通信耗时突增;软件故障的信号是所有卡行为一致、报错可复现。第二层是定位:把故障收敛到一张卡、一条链路或一个节点。第三层是恢复:隔离故障单元,用剩余资源续跑,修好后再加回来。
三、实操要点
第一,日常就要采指标。单卡的温度、功耗、显存 ECC 错误计数、PCIe 降速记录,都要持续采集并设阈值告警。ECC 错误计数缓慢增长的卡,往往是未来掉卡的候选,提前换掉比跑一半再换便宜得多。
第二,定位用“二分 + 对照”。训练卡住时,先看是哪几张卡的集合通信耗时异常,再把可疑节点逐个隔离跑小规模测试。健康的对照组很关键:同一份任务在健康节点上能跑,就能排除软件问题。
第三,检查点策略决定恢复成本。检查点保存得越密,故障后丢的进度越少,但保存本身也占时间和存储。常见做法是按时间间隔保存,间隔取故障平均间隔的几分之一;同时保留最近两个检查点,防止最新的检查点本身写坏。
第四,恢复后要验证。故障节点隔离后,先跑一小段训练确认损失曲线和梯度正常,再全速续跑。直接全速续跑,万一故障没隔离干净,会二次中断。
四、小结
单卡故障防不住,能做的是三件事:平时采指标提前发现苗头,出事按定性、定位、恢复三步走,检查点密到丢得起进度。把故障当成常态来设计,训练才跑得稳。
大模型训练跑在几百上千张卡上,单卡故障是常态不是意外。某张卡出现显存错误、掉卡、降频,通信集合操作就会卡住,整个训练步进停在原地。更糟的是,故障不一定立刻报错:有的卡只是算得慢,拖慢全局同步,让人误以为是网络问题;有的卡间歇性出错,重启后又正常,下次跑到一半再犯。定位慢一小时,烧掉的就是全集群一小时的算力。
二、原理:先定性,再定位,最后恢复
故障处理分三层。第一层是定性:区分硬件故障、通信故障和软件故障。硬件故障的信号是单卡报错(显存 ECC 错误计数上升、驱动上报 Xid 错误、卡从总线上消失);通信故障的信号是多卡同时超时、集合通信耗时突增;软件故障的信号是所有卡行为一致、报错可复现。第二层是定位:把故障收敛到一张卡、一条链路或一个节点。第三层是恢复:隔离故障单元,用剩余资源续跑,修好后再加回来。
三、实操要点
第一,日常就要采指标。单卡的温度、功耗、显存 ECC 错误计数、PCIe 降速记录,都要持续采集并设阈值告警。ECC 错误计数缓慢增长的卡,往往是未来掉卡的候选,提前换掉比跑一半再换便宜得多。
第二,定位用“二分 + 对照”。训练卡住时,先看是哪几张卡的集合通信耗时异常,再把可疑节点逐个隔离跑小规模测试。健康的对照组很关键:同一份任务在健康节点上能跑,就能排除软件问题。
第三,检查点策略决定恢复成本。检查点保存得越密,故障后丢的进度越少,但保存本身也占时间和存储。常见做法是按时间间隔保存,间隔取故障平均间隔的几分之一;同时保留最近两个检查点,防止最新的检查点本身写坏。
第四,恢复后要验证。故障节点隔离后,先跑一小段训练确认损失曲线和梯度正常,再全速续跑。直接全速续跑,万一故障没隔离干净,会二次中断。
四、小结
单卡故障防不住,能做的是三件事:平时采指标提前发现苗头,出事按定性、定位、恢复三步走,检查点密到丢得起进度。把故障当成常态来设计,训练才跑得稳。