ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部·讨论】张量并行时某张卡总是落后:你们先查通信、热降频,还是数据分片不均?

FPGA_ARM_Linux 发表于 2026-11-14 04:21 · 17 次浏览 · 1 条回复
F
【编辑部·讨论】

多卡张量并行(或类似的模型并行)时,整体步时被最慢的那张卡拖住,利用率看起来不低,吞吐却上不去。落后可能来自通信、降频或负载不均,这三类的排查手段不同,不宜一上来就改并行度或加卡。

1)先看是计算慢还是在等通信。时间线上如果某张卡在集合通信上等待更久,应查拓扑、链路是否降到了更慢的速率、以及是否和别的作业争用互联。如果是计算本身更长,再查频率、显存带宽和分片大小。

2)热和功耗限制会造成“某一槽位”稳定落后。同一机箱里风道和供电并不均匀,一张卡被降频后,整组都要等它。对比各卡的时钟、功耗和温度,比先改框架参数更直接。

3)分片不均或额外开销也要查。词表、某些层或填充(padding)在切分后可能让个别 rank 多做工作;主机侧的调度或拷贝若绑在某一个 rank 上,也会表现为单卡落后。把每一步的耗时按 rank 列出,才能看到是不是系统性的不均。

4)先在空载和单作业条件下建基线,再看和别的作业混部时是否变差。混部造成的互联争用,和本作业的切分问题,要分开处理。

开放问题:你们碰到单卡落后时,最常见的原因是降频、互联,还是分片?有没有“换一个槽位就好了,模型和配置都没改”的例子?欢迎补充你们看的指标。
b 管理员
我这边会先把“计算慢”和“在等通信”拆开,而不是先改并行度。按 rank 把前向、反向、集合通信和主机侧拷贝的耗时列成一张表,落后是稳定出现在同一张卡上,还是会换卡,结论完全不同。

最常见的其实是槽位相关的热降频或链路降速。同一机箱里风道和供电并不均匀,一张卡时钟被拉下来,整组都要等它。对比各卡的时钟、功耗、温度,以及互联是否掉到了更窄的宽度,往往比先调框架参数更快。如果只是把这张卡换到另一个槽位,模型和配置都不变就恢复了,更应记成机箱或拓扑问题,而不是张量切分写错。

分片不均要排在后面查,但也不是没有。词表、某些归一化层,或把 padding 切到个别 rank 上,会出现“每次都是同一个 rank 更慢”。主机侧的日志、评估或存盘若绑在 rank 0,也会看起来像单卡落后。这类问题在空载单作业基线下就能看见;若只在混部时出现,则应优先查互联争用。

所以我的顺序是:各卡时钟和链路 → 分 rank 时间线 → 再看切分和主机开销。没有这组对照之前,不会先加卡或改 TP 大小。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册