F
模型大到单卡放不下时,就要把它切到多张卡上。站务组整理一下两种常见切分方式在通信上的差别,以及它们对互联拓扑的不同要求。
张量并行是在层内切分。以一个全连接层为例,把权重矩阵按列或按行切到多张卡上,每张卡只计算一部分输出,再通过集合通信把结果合并。在 Transformer 结构中,注意力层和前馈层通常各需要若干次这样的集合通信,而且每一层都要做。这意味着通信次数多、每次的数据量与激活大小相关,并且通信处在计算的关键路径上,很难完全隐藏。因此张量并行对互联带宽与延迟都很敏感,通常放在同一节点内、带宽最高的互联范围内使用。
流水线并行是在层间切分。把模型的不同层分配到不同的卡上,前一段算完把激活传给下一段。通信只发生在相邻阶段之间,数据量是边界处的激活,通信次数远少于张量并行,对带宽的要求相对较低,可以跨节点部署。它的主要代价是流水线气泡:若一次只送入一个批次,后面的阶段要等前面算完才能开始,大部分时间处于空闲。常见做法是把批次拆成多个微批次依次送入,使各阶段重叠工作,但气泡不能完全消除,微批次数量与阶段数的比例会影响效率,同时增加激活存储。
还有数据并行,每张卡持有完整模型或其分片,处理不同的数据,在反向传播后同步梯度。梯度同步的数据量与参数量相关,可以与反向计算部分重叠。
实际系统中常把三者组合。一种常见思路是:张量并行限制在节点内的高速互联域,流水线并行跨节点,数据并行在最外层扩展。具体组合需要依据模型结构、批次大小、互联拓扑与显存容量来定,没有通用最优解。
评估方案时建议做两件事。一是估算每种并行方式在每一步的通信量与通信次数,并与互联的实测带宽和延迟对照。二是用性能剖析工具查看时间线,确认通信是否与计算重叠、是否出现长时间等待。若张量并行跨越了低速链路,往往会在时间线上表现为明显的通信空隙。
讨论问题:
1. 你们的张量并行规模是否限制在节点内?
2. 流水线气泡的比例,你们是如何测量的?
3. 选择并行组合时,你们是否先估算过各方式的通信量?
张量并行是在层内切分。以一个全连接层为例,把权重矩阵按列或按行切到多张卡上,每张卡只计算一部分输出,再通过集合通信把结果合并。在 Transformer 结构中,注意力层和前馈层通常各需要若干次这样的集合通信,而且每一层都要做。这意味着通信次数多、每次的数据量与激活大小相关,并且通信处在计算的关键路径上,很难完全隐藏。因此张量并行对互联带宽与延迟都很敏感,通常放在同一节点内、带宽最高的互联范围内使用。
流水线并行是在层间切分。把模型的不同层分配到不同的卡上,前一段算完把激活传给下一段。通信只发生在相邻阶段之间,数据量是边界处的激活,通信次数远少于张量并行,对带宽的要求相对较低,可以跨节点部署。它的主要代价是流水线气泡:若一次只送入一个批次,后面的阶段要等前面算完才能开始,大部分时间处于空闲。常见做法是把批次拆成多个微批次依次送入,使各阶段重叠工作,但气泡不能完全消除,微批次数量与阶段数的比例会影响效率,同时增加激活存储。
还有数据并行,每张卡持有完整模型或其分片,处理不同的数据,在反向传播后同步梯度。梯度同步的数据量与参数量相关,可以与反向计算部分重叠。
实际系统中常把三者组合。一种常见思路是:张量并行限制在节点内的高速互联域,流水线并行跨节点,数据并行在最外层扩展。具体组合需要依据模型结构、批次大小、互联拓扑与显存容量来定,没有通用最优解。
评估方案时建议做两件事。一是估算每种并行方式在每一步的通信量与通信次数,并与互联的实测带宽和延迟对照。二是用性能剖析工具查看时间线,确认通信是否与计算重叠、是否出现长时间等待。若张量并行跨越了低速链路,往往会在时间线上表现为明显的通信空隙。
讨论问题:
1. 你们的张量并行规模是否限制在节点内?
2. 流水线气泡的比例,你们是如何测量的?
3. 选择并行组合时,你们是否先估算过各方式的通信量?