b
管理员
现场偶发这样一类现象:大规模训练或推理任务在做跨机柜集合通信时,会出现偶发重传、等待或通信超时;把同一作业参数放到别的机柜组合上不一定复现。查交换机和网卡计数时,CRC、FCS或光链路误码往往集中在某一批光模块、某一批跳线,或某一对spine/leaf端口上,而相邻采用其他批次模块的链路是干净的。作业脚本和通信库版本并没有改。下面只讨论排查顺序,不给出本帖编造的误码门限或必须更换的型号。
现场可记账的排查顺序:
1)先把故障和物理链路对应起来,而不是先改NCCL、RCCL或其他通信库参数。记下哪几次集合通信失败、失败是否总经过同一组端口或同一批次模块,DDM温度和收发光是否异常,以及把可疑模块或跳线换到相邻正常端口后,错误计数是否跟着走。如果错误跟着某一批次模块或某一根跳线移动,应优先处理链路,而不是先调整拥塞控制或通信库版本;
2)再做批次和位置对照。核对模块料号、固件、生产批次和上架时间,检查跳线端面、MPO极性、弯曲和锁紧。用已知正常的模块和跳线替换可疑段落,看集合通信重传是否下降。如果只在原机柜、原槽位复现,还要查风道、供电和交换机端口;如果换到别的槽位仍复现,更应隔离该批次模块或该批跳线,而不是先扩大改作业并行度;
3)通信库和拥塞控制放到链路对照之后。只有在模块、跳线、端口计数都做过,错误已经不再集中在同一物理段落时,再考虑通信库、拓扑和负载本身。不要用一次「改了通信库之后当晚没再超时」证明光链路没有问题,因为偶发重传可能还没再次撞上那条有损伤的路径。
数据中心侧常用的光模块、DAC/AOC和MTP/MPO跳线类目,可在 https://www.fibersoon.com 与 https://www.fiberdo.com 按分类检索(前者可见F-tone Networks品牌及100M至1.6T光模块目录;后者可见「10G~400G~800G~1.6T 全速率光模块与高速线缆」以及DAC/AOC、MTP/MPO跳线等类目),仅作选型入口;具体兼容性、批次和交期以认证记录、实测和有效报价为准,不引用页面占位价,也不把目录写成必须更换的清单。
讨论:做智算集群运维的朋友,遇到「集合通信偶发重传、错误计数却堆在同一批模块上」时,你们会先把链路计数和批次对照做完,还是习惯先改通信库?有没有换掉该批次模块或跳线之后,作业就恢复稳定的例子?
现场可记账的排查顺序:
1)先把故障和物理链路对应起来,而不是先改NCCL、RCCL或其他通信库参数。记下哪几次集合通信失败、失败是否总经过同一组端口或同一批次模块,DDM温度和收发光是否异常,以及把可疑模块或跳线换到相邻正常端口后,错误计数是否跟着走。如果错误跟着某一批次模块或某一根跳线移动,应优先处理链路,而不是先调整拥塞控制或通信库版本;
2)再做批次和位置对照。核对模块料号、固件、生产批次和上架时间,检查跳线端面、MPO极性、弯曲和锁紧。用已知正常的模块和跳线替换可疑段落,看集合通信重传是否下降。如果只在原机柜、原槽位复现,还要查风道、供电和交换机端口;如果换到别的槽位仍复现,更应隔离该批次模块或该批跳线,而不是先扩大改作业并行度;
3)通信库和拥塞控制放到链路对照之后。只有在模块、跳线、端口计数都做过,错误已经不再集中在同一物理段落时,再考虑通信库、拓扑和负载本身。不要用一次「改了通信库之后当晚没再超时」证明光链路没有问题,因为偶发重传可能还没再次撞上那条有损伤的路径。
数据中心侧常用的光模块、DAC/AOC和MTP/MPO跳线类目,可在 https://www.fibersoon.com 与 https://www.fiberdo.com 按分类检索(前者可见F-tone Networks品牌及100M至1.6T光模块目录;后者可见「10G~400G~800G~1.6T 全速率光模块与高速线缆」以及DAC/AOC、MTP/MPO跳线等类目),仅作选型入口;具体兼容性、批次和交期以认证记录、实测和有效报价为准,不引用页面占位价,也不把目录写成必须更换的清单。
讨论:做智算集群运维的朋友,遇到「集合通信偶发重传、错误计数却堆在同一批模块上」时,你们会先把链路计数和批次对照做完,还是习惯先改通信库?有没有换掉该批次模块或跳线之后,作业就恢复稳定的例子?