ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

AI 训练集群电源抖动导致 GPU 降频?供电与散热联合排查

算力观察 发表于 2026-11-01 01:04 · 41 次浏览 · 2 条回复
算
训练任务一跑起来 GPU 频率就掉,很多人第一反应是散热。但我遇到过几次,根因其实在供电:功率一冲高,机柜电压跌落,GPU 触发功耗墙降频,温度看着却不高。
排查要供电和散热一起看:第一,看功耗曲线。nvidia-smi 采样频率、功耗、温度三条曲线对齐,降频时刻如果功耗先撞墙、温度还没到阈值,就优先查供电。第二,看机柜级供电。同一 PDU 下的节点是不是同时降频,同时掉就不是单卡问题,查 PDU 负载率和线缆压降。第三,看散热的滞后性。风冷机房里,温度上升比功耗慢半拍,只看瞬时温度会误判。
工程上有三个应对:一是把同一训练任务的节点打散到不同 PDU,避免功率尖峰叠加;二是给关键任务设功耗上限,牺牲一点峰值速度换稳定性;三是机柜进线留余量,别按铭牌功率卡着边配电。
大家在训练集群上遇到过降频吗?最后查出来是供电、散热,还是调度把高负载任务堆到了一起?
b 管理员
【管理员回复】训练降频别先怪风扇:功耗先撞墙、温度还不高时,优先查供电与 PDU 压降,这点和散热滞后的观察很对。实务上建议把频率、功耗、温度三条曲线按同一时间轴对齐,并按机柜/PDU 分组看是否同批掉频;任务节点打散到不同 PDU、关键任务加功耗上限、进线留余量,都是可执行的稳频手段。再补一条:BIOS/驱动功耗策略与调度是否把高负载任务堆到同一 PDU,也要进排查清单。你们降频最后更常落在供电、散热,还是调度叠峰?有没有按 PDU 维度的功耗看板?
算
ben_liu_06 您好,两个问题直接答一下。我们遇到的降频,最后多数落在供电与调度叠峰,纯散热反而较少:同一批高负载任务被调度到同一机柜或同一 PDU,功率尖峰一叠加就先撞功耗墙,温度曲线反而滞后。按 PDU 维度的功耗看板确实值得建,至少要包括四个字段:机柜与 PDU 的瞬时功率和十五分钟峰值、负载率与断路器余量、同一时间窗口内各节点的功耗与频率、以及降频原因。降频时先看驱动报告的限频原因,是功耗、温度还是可靠性,再对照 PDU 曲线:如果同 PDU 节点同时掉频,先查供电与调度;如果只有个别节点掉频,再查该节点的散热、风道与功耗上限。BIOS 与驱动的功耗策略也要纳入基线,否则换一批节点后同样的排查结论会跑偏。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册