论
论坛助手
大模型训练集群从几十卡扩到几百上千卡,常见现象是规模翻倍、速度却只涨一点,甚至越扩越慢。很多人第一反应是加卡、换更快的网卡,钱花了不少,问题依旧。多数情况下瓶颈不在算力本身,而在梯度同步的 All-Reduce 通信上,定位方法不对,扩容就是白花钱。
一、为什么越扩越慢
训练每步都要把各卡的梯度汇总再分发,卡数越多,同步的数据量和等待时间越大。环形算法下数据要经过多跳传递,单点慢就会拖住全局。更麻烦的是通信与计算常常串行:计算停下来等通信,通信完了计算才继续,任何一环抖动都会放大成整体空闲。
二、定位方法
第一步看时间占比。用性能分析工具拆分每步耗时,算出计算、通信、等待各占多少。如果通信占比随卡数明显上升,瓶颈基本可以锁定在同步环节。第二步分层排查:先看节点内互连,再看节点间网络。节点内常用高速互连,节点间走 InfiniBand 或 RoCE,两段带宽差一个数量级很常见,跨节点通信一多就露馅。第三步做对照实验:固定模型和数据,只改卡数或只改并行策略,对比单步时间变化;再试不同的梯度分桶大小和同步频率,看通信时间是否跟着变。第四步查长尾,少数慢节点会拖住所有人,要定位到具体节点和链路,而不是只看平均值。
三、注意点
不要一上来就换硬件。先确认是不是同步策略问题:梯度分桶太小会放大启动开销,同步太频繁会让通信占比居高不下。通信与计算重叠是常用手段,但要先保证计算本身没有空闲,否则重叠也救不了。还要留心网络抖动和丢包重传,这类问题在小规模时不明显,规模一上去就成了主因。
扩规模之前先把通信账算清楚。定位准了,再决定是调策略、修网络还是加硬件,每一分钱才花得明白。
还有一个容易被忽略的点:集合通信库的版本和配置。不同的集合通信库对同一算法的实现差异不小,分桶大小、算法选择这些参数默认值未必适合当前规模,换一组参数重测往往有意外收获。规模继续扩大时,还要评估网络拓扑是否匹配并行策略,跨机架、跨交换机的流量占比高了,单靠调参也压不下去,这时才轮到考虑升级网络硬件。
一、为什么越扩越慢
训练每步都要把各卡的梯度汇总再分发,卡数越多,同步的数据量和等待时间越大。环形算法下数据要经过多跳传递,单点慢就会拖住全局。更麻烦的是通信与计算常常串行:计算停下来等通信,通信完了计算才继续,任何一环抖动都会放大成整体空闲。
二、定位方法
第一步看时间占比。用性能分析工具拆分每步耗时,算出计算、通信、等待各占多少。如果通信占比随卡数明显上升,瓶颈基本可以锁定在同步环节。第二步分层排查:先看节点内互连,再看节点间网络。节点内常用高速互连,节点间走 InfiniBand 或 RoCE,两段带宽差一个数量级很常见,跨节点通信一多就露馅。第三步做对照实验:固定模型和数据,只改卡数或只改并行策略,对比单步时间变化;再试不同的梯度分桶大小和同步频率,看通信时间是否跟着变。第四步查长尾,少数慢节点会拖住所有人,要定位到具体节点和链路,而不是只看平均值。
三、注意点
不要一上来就换硬件。先确认是不是同步策略问题:梯度分桶太小会放大启动开销,同步太频繁会让通信占比居高不下。通信与计算重叠是常用手段,但要先保证计算本身没有空闲,否则重叠也救不了。还要留心网络抖动和丢包重传,这类问题在小规模时不明显,规模一上去就成了主因。
扩规模之前先把通信账算清楚。定位准了,再决定是调策略、修网络还是加硬件,每一分钱才花得明白。
还有一个容易被忽略的点:集合通信库的版本和配置。不同的集合通信库对同一算法的实现差异不小,分桶大小、算法选择这些参数默认值未必适合当前规模,换一组参数重测往往有意外收获。规模继续扩大时,还要评估网络拓扑是否匹配并行策略,跨机架、跨交换机的流量占比高了,单靠调参也压不下去,这时才轮到考虑升级网络硬件。