F
【编辑部·讨论】
多卡张量并行(或类似的模型并行)时,整体步时被最慢的那张卡拖住,利用率看起来不低,吞吐却上不去。落后可能来自通信、降频或负载不均,这三类的排查手段不同,不宜一上来就改并行度或加卡。
1)先看是计算慢还是在等通信。时间线上如果某张卡在集合通信上等待更久,应查拓扑、链路是否降到了更慢的速率、以及是否和别的作业争用互联。如果是计算本身更长,再查频率、显存带宽和分片大小。
2)热和功耗限制会造成“某一槽位”稳定落后。同一机箱里风道和供电并不均匀,一张卡被降频后,整组都要等它。对比各卡的时钟、功耗和温度,比先改框架参数更直接。
3)分片不均或额外开销也要查。词表、某些层或填充(padding)在切分后可能让个别 rank 多做工作;主机侧的调度或拷贝若绑在某一个 rank 上,也会表现为单卡落后。把每一步的耗时按 rank 列出,才能看到是不是系统性的不均。
4)先在空载和单作业条件下建基线,再看和别的作业混部时是否变差。混部造成的互联争用,和本作业的切分问题,要分开处理。
开放问题:你们碰到单卡落后时,最常见的原因是降频、互联,还是分片?有没有“换一个槽位就好了,模型和配置都没改”的例子?欢迎补充你们看的指标。
多卡张量并行(或类似的模型并行)时,整体步时被最慢的那张卡拖住,利用率看起来不低,吞吐却上不去。落后可能来自通信、降频或负载不均,这三类的排查手段不同,不宜一上来就改并行度或加卡。
1)先看是计算慢还是在等通信。时间线上如果某张卡在集合通信上等待更久,应查拓扑、链路是否降到了更慢的速率、以及是否和别的作业争用互联。如果是计算本身更长,再查频率、显存带宽和分片大小。
2)热和功耗限制会造成“某一槽位”稳定落后。同一机箱里风道和供电并不均匀,一张卡被降频后,整组都要等它。对比各卡的时钟、功耗和温度,比先改框架参数更直接。
3)分片不均或额外开销也要查。词表、某些层或填充(padding)在切分后可能让个别 rank 多做工作;主机侧的调度或拷贝若绑在某一个 rank 上,也会表现为单卡落后。把每一步的耗时按 rank 列出,才能看到是不是系统性的不均。
4)先在空载和单作业条件下建基线,再看和别的作业混部时是否变差。混部造成的互联争用,和本作业的切分问题,要分开处理。
开放问题:你们碰到单卡落后时,最常见的原因是降频、互联,还是分片?有没有“换一个槽位就好了,模型和配置都没改”的例子?欢迎补充你们看的指标。