训练跑到一半掉卡,损失的不只是一张卡,还有整个集群的等待时间和断点续跑的成本。故障预测的思路是把事后抢修变成事前预警:通过持续采集硬件遥测信号,在故障发生前发现苗头,提前把有风险的节点摘出来。

哪些信号值得盯?温度与功耗的缓慢爬升、显存纠错计数的持续增长、硬盘读写延迟的缓慢上升、风扇转速异常与电压波动,都是常见的早期征兆。单个指标偶发超标未必是故障,关键看趋势:连续多个周期朝同一方向漂移,比一次尖峰更可信。把这些信号汇总成健康评分,超过阈值就触发预警。

落地分三步。第一步是采集与基线,先跑一段时间攒出各节点的正常范围,没有基线就谈不上异常。第二步是分级处置,轻微漂移只记录观察,中度风险安排在任务间隙检修,高风险直接隔离出调度队列。第三步是闭环复盘,每次真实故障都回头检查预警是否提前命中,不断校准阈值。

误报控制是故障预测最容易翻车的地方。阈值设得太松,预警成了摆设;设得太紧,运维每天被误报淹没,很快就没人理会预警了。务实的做法是先宽后严:初期阈值放宽,只拦截最明显的高风险信号,等基线数据攒够了再逐步收紧;同时给每条预警附上触发原因和相关指标曲线,让值班人员一眼能判断真假。预警还要和调度系统联动:高风险节点自动移出调度队列,而不是只发一条消息等人处理;检修完成后把节点重新纳入,并记录这次预警是否命中。指标采集本身也要轻量,采样频率太高会反过来占用算力,一般按分钟级采集就够用。预测系统的价值不在模型多先进,而在误报率、响应速度和闭环复盘这三件事能不能长期坚持。与其追求一次到位的预测模型,不如先把采集、基线、分级处置和复盘这条链路跑通,再逐步提高预测的准确率。链路跑通了,预测能力会随着数据积累自然变强。这笔账值得认真算。