训练或推理机柜里有时会遇到这种局部现象:同一机柜、同一交换机或同一TOR下,只有部分GPU或加速卡的光口频繁Flap(链路起来又掉下去),邻座的卡在同一时段完全正常;任务参数没有改,也没有做大规模重装。这类情况不一定先是集合通信或并行组配置错了,也常见于该端口的模块没插到位、跳线端面污染、线缆被压住,或该槽位的笼子接触不良。

现场可记账的排查顺序(只谈顺序和对照方法,不改写任何训练框架的参数建议):
1)先把Flap和任务异常分开记。记下是哪些GPU、哪个交换端口、Flap是否和换跳线、理线、开关柜门同时出现,以及邻座同型号卡在同一交换机上是否正常。保留交换机或网卡的链路日志、光模块DDM和误码计数,避免一看到局部Flap就先改通信库、并行组或拥塞控制;
2)先查该端口的模块和跳线。检查模块是否插牢、线缆有没有被导轨或柜门挤压,端面是否清洁,极性是否正确。用邻座一条已知稳定的跳线替换故障口,把原跳线换到邻座稳定口,看Flap是否跟着跳线走;再用一只已知正常的同类型模块做交叉对照。如果故障跟着跳线或模块走,应先处理光路和端口,而不是先改训练任务的通信参数;
3)只有在模块、跳线和槽位对照都稳定,Flap却仍与特定通信模式同时出现时,再把问题升级到网络配置或软件侧,并继续保留光路测量记录。不要用一次「改了并行组暂时不再报错」证明链路物理层没有问题,因为局部端口抖动有时会被重传暂时掩盖。

高速光模块的公开目录可在 https://www.fibersoon.com 按分类检索(站点可见「From 100M to 1.6T optical transceivers for data center, telecom and industrial network applications.»),仅作选型入口;具体速率、封装、兼容性和交期以规格书、主机认证和有效报价为准,不引用页面占位价,也不把目录型号写成必须更换的清单。

讨论:做智算运维和集群网络的朋友,遇到「同一机柜里只有部分GPU光口Flap、邻座正常」时,你们会先做模块和跳线交叉对照,还是习惯先改训练并行组?有没有对照之后发现其实是跳线或笼子的问题?