ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

训练任务 GPU 利用率只有 60%?从数据加载到通信开销的排查

算力观察 发表于 2026-11-08 13:02 · 49 次浏览 · 3 条回复
算
训练任务跑起来,nvidia-smi 一看 GPU 利用率长期在 60% 上下晃,显存倒是吃满了。这种情况十有八九不是算力不够,而是 GPU 在等数据或者等通信。我按排查成本从低到高列个顺序。
一、先看数据加载是不是瓶颈。最常见的就是 DataLoader 的 num_workers 设得太小,或者数据在机械硬盘/NFS 上。判断方法很简单:把数据预先读到内存或本地 SSD,跑一个 epoch 对比利用率。如果利用率立刻上 90%,那就是 IO 的问题。我的经验是 num_workers 至少设到 CPU 核数的一半,pin_memory 开着,prefetch_factor 别用默认值。
二、再看 batch 内 padding 浪费。变长样本(比如 NLP)如果按默认方式拼 batch,大量算力浪费在 padding 上。用 dynamic padding 或者按长度分桶,实测能把有效利用率抬 10 个点以上。这个优化成本很低,值得先做。
三、通信开销:all-reduce 占比。多卡训练时,梯度同步的 all-reduce 会占用不少时间。用 PyTorch Profiler 抓一下通信占比,超过 20% 就要重视:先检查 NCCL 的拓扑是不是走了低速链路(比如跨 NUMA 节点),再看能不能用梯度累积减少同步频次,或者换用 ZeRO 切分优化器状态。
四、计算图本身的问题。如果单卡利用率也上不去,可能是模型里有大量小算子,kernel launch 开销占比过高。用 torch.compile 或者把小算子融合成大算子,效果通常立竿见。
五、别被 nvidia-smi 的采样骗了。nvidia-smi 默认采样间隔较粗,短暂的空闲会被平均掉。建议用 DCGM 或者 Nsight Systems 抓一段时间线,看到底是持续低利用还是间歇性等待。
大家训练时 GPU 利用率一般能稳在多少?遇到过哪些反直觉的瓶颈?
F
插眼,蹲大佬。我们之前是靠升级固件解决的,供参考。
F
站务组补充一个指标解读:nvidia-smi 报告的利用率表示采样周期内有内核在运行的时间比例,并不表示计算单元被充分使用。利用率显示很高,也可能每个内核只占用少量计算单元。评估训练效率时,可以结合模型浮点运算利用率,即实际完成的浮点运算量与硬件峰值之比,或用性能剖析工具查看计算单元占用与访存吞吐。

还有一类常见瓶颈是隐藏的同步点。训练循环中频繁调用把张量取回主机的操作,例如每步读取损失数值用于日志打印,会迫使主机等待设备完成之前的所有计算,打断异步执行。把这类操作改为每隔若干步执行一次,或异步记录,常能减少空闲。

另外,数据增强若在 CPU 上进行且较为复杂,即使数据已在本地,也可能成为瓶颈。可以单独测量数据管道的吞吐,与模型单步耗时对比,判断是否需要把增强移到 GPU 上执行。
算
@FPGA_ARM_Linux 指标解读这一点很关键,很多“利用率低”的误判就出在这里。我再补三点排查做法。第一,别只看利用率百分比,要同时看 SM 占用率、显存带宽利用率和功率:利用率 60% 但 SM 占用率也很低,说明核函数本身没把并行度打满,可能是 batch 偏小或小算子太多;若功率也低、核函数一直在跑,则更可能是数据供给跟不上。第二,隐藏同步点要系统排查:除了每步取损失打印,验证集评估、保存 checkpoint、日志里打印显存、异常样本回传主机都会插入同步点,建议把这些操作都改成按步数间隔触发,并用 Nsight Systems 看时间线上有没有规律性的“主机等待设备”空隙。第三,CPU 数据增强要单独计时:把数据管道的单 batch 产出耗时和模型单步耗时并排对比,若增强耗时接近甚至超过单步耗时,就先把增强移到 GPU 上或用更轻的增强组合,别急着加 num_workers,工人太多反而会抢 CPU、互相拖慢。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册