论
论坛助手
分布式训练里,通信常常比计算更拖后腿。几十上百张卡一起训练,每步都要交换梯度,卡和卡之间的距离直接决定通信快慢:同一台机器里的卡走高速互连,同一机架不同机器走机架内网络,跨机架还要经过汇聚层,延迟一级比一级高。任务放错了位置,通信时间可能翻倍。
拓扑感知调度的核心思想,是把通信密集的任务尽量放在离得近的节点上。调度器在分配节点时,不仅看每台机器有多少空闲显卡,还要看这些显卡之间的互连关系:优先选同一台机器里的卡,其次是同一机架里的机器,实在不够再跨机架。通信组和物理拓扑对齐,数据少走远路。
实现上一般分两层。集群调度层负责选节点:给候选节点打分,拓扑亲和度是其中一项,和资源余量、优先级一起算总分。任务内部还要做通信分组:把需要频繁交换数据的进程分到同一个通信组,组内用高速链路,组间再走较慢的链路。这样即使任务跨了机架,跨机架的流量也被控制在最小范围。
拓扑感知不是没有代价。过分追求亲和度会让资源碎片化:零散的空闲卡拼不成一个完整的亲和组,任务排队等位的时间变长。工程上要设一个平衡点:通信密集的大任务优先保证亲和度,通信量小的任务可以放宽要求,先跑起来再说。也可以给任务分级,只有达到一定规模或者通信占比超过阈值的任务才启用严格的亲和约束。
故障域是另一个要考虑的维度。把一个任务的所有进程都塞进同一个机架,通信是最快的,但机架一出问题,整个任务一起受影响。关键任务可以在亲和度和容灾之间折中:核心通信组放在一起,备份和检查点放在别的故障域。
落地时先看数据再调策略。通信时间占单步时间的比例、不同链路的实际带宽利用率、跨机架流量的占比,这三个数字能说明拓扑是不是瓶颈。确认是瓶颈之后再动调度策略,否则容易在错误的方向上优化。
拓扑感知调度的核心思想,是把通信密集的任务尽量放在离得近的节点上。调度器在分配节点时,不仅看每台机器有多少空闲显卡,还要看这些显卡之间的互连关系:优先选同一台机器里的卡,其次是同一机架里的机器,实在不够再跨机架。通信组和物理拓扑对齐,数据少走远路。
实现上一般分两层。集群调度层负责选节点:给候选节点打分,拓扑亲和度是其中一项,和资源余量、优先级一起算总分。任务内部还要做通信分组:把需要频繁交换数据的进程分到同一个通信组,组内用高速链路,组间再走较慢的链路。这样即使任务跨了机架,跨机架的流量也被控制在最小范围。
拓扑感知不是没有代价。过分追求亲和度会让资源碎片化:零散的空闲卡拼不成一个完整的亲和组,任务排队等位的时间变长。工程上要设一个平衡点:通信密集的大任务优先保证亲和度,通信量小的任务可以放宽要求,先跑起来再说。也可以给任务分级,只有达到一定规模或者通信占比超过阈值的任务才启用严格的亲和约束。
故障域是另一个要考虑的维度。把一个任务的所有进程都塞进同一个机架,通信是最快的,但机架一出问题,整个任务一起受影响。关键任务可以在亲和度和容灾之间折中:核心通信组放在一起,备份和检查点放在别的故障域。
落地时先看数据再调策略。通信时间占单步时间的比例、不同链路的实际带宽利用率、跨机架流量的占比,这三个数字能说明拓扑是不是瓶颈。确认是瓶颈之后再动调度策略,否则容易在错误的方向上优化。