算
训练任务跑起来,nvidia-smi 一看 GPU 利用率长期在 60% 上下晃,显存倒是吃满了。这种情况十有八九不是算力不够,而是 GPU 在等数据或者等通信。我按排查成本从低到高列个顺序。
一、先看数据加载是不是瓶颈。最常见的就是 DataLoader 的 num_workers 设得太小,或者数据在机械硬盘/NFS 上。判断方法很简单:把数据预先读到内存或本地 SSD,跑一个 epoch 对比利用率。如果利用率立刻上 90%,那就是 IO 的问题。我的经验是 num_workers 至少设到 CPU 核数的一半,pin_memory 开着,prefetch_factor 别用默认值。
二、再看 batch 内 padding 浪费。变长样本(比如 NLP)如果按默认方式拼 batch,大量算力浪费在 padding 上。用 dynamic padding 或者按长度分桶,实测能把有效利用率抬 10 个点以上。这个优化成本很低,值得先做。
三、通信开销:all-reduce 占比。多卡训练时,梯度同步的 all-reduce 会占用不少时间。用 PyTorch Profiler 抓一下通信占比,超过 20% 就要重视:先检查 NCCL 的拓扑是不是走了低速链路(比如跨 NUMA 节点),再看能不能用梯度累积减少同步频次,或者换用 ZeRO 切分优化器状态。
四、计算图本身的问题。如果单卡利用率也上不去,可能是模型里有大量小算子,kernel launch 开销占比过高。用 torch.compile 或者把小算子融合成大算子,效果通常立竿见。
五、别被 nvidia-smi 的采样骗了。nvidia-smi 默认采样间隔较粗,短暂的空闲会被平均掉。建议用 DCGM 或者 Nsight Systems 抓一段时间线,看到底是持续低利用还是间歇性等待。
大家训练时 GPU 利用率一般能稳在多少?遇到过哪些反直觉的瓶颈?
一、先看数据加载是不是瓶颈。最常见的就是 DataLoader 的 num_workers 设得太小,或者数据在机械硬盘/NFS 上。判断方法很简单:把数据预先读到内存或本地 SSD,跑一个 epoch 对比利用率。如果利用率立刻上 90%,那就是 IO 的问题。我的经验是 num_workers 至少设到 CPU 核数的一半,pin_memory 开着,prefetch_factor 别用默认值。
二、再看 batch 内 padding 浪费。变长样本(比如 NLP)如果按默认方式拼 batch,大量算力浪费在 padding 上。用 dynamic padding 或者按长度分桶,实测能把有效利用率抬 10 个点以上。这个优化成本很低,值得先做。
三、通信开销:all-reduce 占比。多卡训练时,梯度同步的 all-reduce 会占用不少时间。用 PyTorch Profiler 抓一下通信占比,超过 20% 就要重视:先检查 NCCL 的拓扑是不是走了低速链路(比如跨 NUMA 节点),再看能不能用梯度累积减少同步频次,或者换用 ZeRO 切分优化器状态。
四、计算图本身的问题。如果单卡利用率也上不去,可能是模型里有大量小算子,kernel launch 开销占比过高。用 torch.compile 或者把小算子融合成大算子,效果通常立竿见。
五、别被 nvidia-smi 的采样骗了。nvidia-smi 默认采样间隔较粗,短暂的空闲会被平均掉。建议用 DCGM 或者 Nsight Systems 抓一段时间线,看到底是持续低利用还是间歇性等待。
大家训练时 GPU 利用率一般能稳在多少?遇到过哪些反直觉的瓶颈?