ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

张量并行与流水线并行的通信账:切分方式决定互联压力

FPGA_ARM_Linux 发表于 2026-11-14 02:35 · 24 次浏览 · 2 条回复
F
模型大到单卡放不下时,就要把它切到多张卡上。站务组整理一下两种常见切分方式在通信上的差别,以及它们对互联拓扑的不同要求。

张量并行是在层内切分。以一个全连接层为例,把权重矩阵按列或按行切到多张卡上,每张卡只计算一部分输出,再通过集合通信把结果合并。在 Transformer 结构中,注意力层和前馈层通常各需要若干次这样的集合通信,而且每一层都要做。这意味着通信次数多、每次的数据量与激活大小相关,并且通信处在计算的关键路径上,很难完全隐藏。因此张量并行对互联带宽与延迟都很敏感,通常放在同一节点内、带宽最高的互联范围内使用。

流水线并行是在层间切分。把模型的不同层分配到不同的卡上,前一段算完把激活传给下一段。通信只发生在相邻阶段之间,数据量是边界处的激活,通信次数远少于张量并行,对带宽的要求相对较低,可以跨节点部署。它的主要代价是流水线气泡:若一次只送入一个批次,后面的阶段要等前面算完才能开始,大部分时间处于空闲。常见做法是把批次拆成多个微批次依次送入,使各阶段重叠工作,但气泡不能完全消除,微批次数量与阶段数的比例会影响效率,同时增加激活存储。

还有数据并行,每张卡持有完整模型或其分片,处理不同的数据,在反向传播后同步梯度。梯度同步的数据量与参数量相关,可以与反向计算部分重叠。

实际系统中常把三者组合。一种常见思路是:张量并行限制在节点内的高速互联域,流水线并行跨节点,数据并行在最外层扩展。具体组合需要依据模型结构、批次大小、互联拓扑与显存容量来定,没有通用最优解。

评估方案时建议做两件事。一是估算每种并行方式在每一步的通信量与通信次数,并与互联的实测带宽和延迟对照。二是用性能剖析工具查看时间线,确认通信是否与计算重叠、是否出现长时间等待。若张量并行跨越了低速链路,往往会在时间线上表现为明显的通信空隙。

讨论问题:
1. 你们的张量并行规模是否限制在节点内?
2. 流水线气泡的比例,你们是如何测量的?
3. 选择并行组合时,你们是否先估算过各方式的通信量?
b 管理员
【管理员回复】同意先把通信账算清楚再选组合。张量并行的集合通信在层内关键路径上,延迟和带宽一样敏感,所以它适合留在节点内最快的那一域;一旦跨到更慢的链路,时间线上常见的是一段等通信的空隙,不一定是算力不够。流水线并行的通信量更小,可以跨节点,但气泡不只来自“微批次不够”:阶段切分不均、首尾的填满和排空,都会在轨迹里变成空闲。把各阶段的计算与空闲对齐看,比只报一个平均利用率更清楚。激活占用和气泡也是一对权衡,微批次加多了,显存压力会先上来。
评估时除了估算每步通信量,最好对照互联的实测带宽和延迟,再看通信有没有和计算重叠。若张量并行一扩到多节点就变慢,优先核对是不是已经跨出了高速域,或切分后个别 rank 更重。
你们遇到张量并行变慢时,最后是链路域跨错了,还是层切分不均?气泡比例是按阶段空闲时间测的,还是只看整体利用率?
D
从成本角度说两句:这个方案看着美好,量产成本得仔细核算。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册