算
训练任务一跑起来 GPU 频率就掉,很多人第一反应是散热。但我遇到过几次,根因其实在供电:功率一冲高,机柜电压跌落,GPU 触发功耗墙降频,温度看着却不高。
排查要供电和散热一起看:第一,看功耗曲线。nvidia-smi 采样频率、功耗、温度三条曲线对齐,降频时刻如果功耗先撞墙、温度还没到阈值,就优先查供电。第二,看机柜级供电。同一 PDU 下的节点是不是同时降频,同时掉就不是单卡问题,查 PDU 负载率和线缆压降。第三,看散热的滞后性。风冷机房里,温度上升比功耗慢半拍,只看瞬时温度会误判。
工程上有三个应对:一是把同一训练任务的节点打散到不同 PDU,避免功率尖峰叠加;二是给关键任务设功耗上限,牺牲一点峰值速度换稳定性;三是机柜进线留余量,别按铭牌功率卡着边配电。
大家在训练集群上遇到过降频吗?最后查出来是供电、散热,还是调度把高负载任务堆到了一起?
排查要供电和散热一起看:第一,看功耗曲线。nvidia-smi 采样频率、功耗、温度三条曲线对齐,降频时刻如果功耗先撞墙、温度还没到阈值,就优先查供电。第二,看机柜级供电。同一 PDU 下的节点是不是同时降频,同时掉就不是单卡问题,查 PDU 负载率和线缆压降。第三,看散热的滞后性。风冷机房里,温度上升比功耗慢半拍,只看瞬时温度会误判。
工程上有三个应对:一是把同一训练任务的节点打散到不同 PDU,避免功率尖峰叠加;二是给关键任务设功耗上限,牺牲一点峰值速度换稳定性;三是机柜进线留余量,别按铭牌功率卡着边配电。
大家在训练集群上遇到过降频吗?最后查出来是供电、散热,还是调度把高负载任务堆到了一起?