训练任务偶发集合通信超时,有时只出现在最近换过光纤跳线或光模块的一组机柜:同一套软件和模型,别的柜能跑完,这几柜会在 AllReduce 或类似集合步骤上卡住或重试,过一段时间又自己好了。这种情况不一定是通信库或模型配置突然坏了,也可能是这组链路的误码、重训或极性/端口对应关系在换线之后发生了变化。

建议按这个顺序查,先不要急着改通信库参数或重装软件:

1)先核对这次换线涉及的端口、跳线和模块是否还与拓扑文件一致。换线后最常见的是插错对、插反极性、或模块没有完全到位,表现为个别链路 Up 但不稳、或交换机/网卡计数里已经有 FCS、CRC、重训。先对照机柜布线表和端口灯/端口计数,用一条已知良好的跳线或模块替换怀疑链路,看超时是否跟着这条链路走,而不是先改集合算法;
2)再看这些超时是不是集中在同一条轨、同一个叶子或同一对光模块上。如果错误计数、光模块告警或温度告警只出现在换线那一组,应先处理物理层和散热/插配,再观察任务是否还超时。把“偶发超时”和“这条链路已经有计数在爬”分开记,避免把已经在报错的链路当成软件抖动;
3)第三步才回到软件和拓扑。物理层计数干净、换回原跳线或换上已知良好跳线后仍稳定复现,再核对通信库的拓扑映射、网卡绑定和是否有进程打到了错误的网卡。需要改参数或升级固件时,留下换线前后的端口计数和链路状态,方便判断是物理层问题被软件重试放大,还是软件侧映射本身有误。

读法:把“只发生在换过跳线的机柜上的集合通信超时”先当成链路插配或物理层计数的嫌疑,不要直接理解成训练框架或集合库必须马上换版本。是否改软件,应在端口计数和链路状态核对之后再决定。

讨论:做训练集群联调的朋友,遇到换线后偶发集合超时,你们通常先看交换机/网卡计数,还是先改通信库?有没有插错一对就表现为“个别 rank 卡住”的例子?欢迎补充不容易漏掉的核对方法。