b
管理员
训练或推理集群里,有时会遇到这样的情况:整体任务还在跑,但某一对GPU或某一条交换光链路的CRC、FCS或不可纠正误码计数明显升高,重传增加;把这条链路上的跳线重新插拔、更换,或把光模块换到对照槽位后,计数恢复平稳,而拥塞控制、通信库和作业参数并没有改。这类现象不一定先是集合通信算法或网卡拥塞参数的问题,也常见于跳线端面污染、连接不到位、模块与笼子接触不良,或某条光链路已经在功率预算边缘间歇性恶化。
现场可记账的排查顺序(只谈顺序和对照方法,不给出本帖编造的误码门限或重传阈值):
1)先固定范围再改系统参数。记下升高的是哪几条具体链路、是否只出现在最近理过线或更换过跳线的机柜,以及主机侧、交换机侧和光模块DDM是否同时看到光功率、温度或链路闪断。尽量保留同一时间窗口的端口计数和光功率记录,避免一上来就调整拥塞控制或通信库,把光层问题掩盖成「调参之后好像好了」;
2)先做光链路对照,再判断要不要动协议参数。检查相关MPO/MTP或LC跳线是否到位、端面是否清洁、有没有被柜门或理线架压出急弯;模块是否插锁到位。能先按手册清洁、复插或更换一条已知正常的同类型跳线时,先做这一步;
3)对照要成组做。比较「原跳线原端口、换跳线后的原端口、原跳线换到对照端口、模块对调」四种组合下的CRC或误码计数。如果只在原跳线或原路由上复现,更应处理布线和连接;如果跳线和路由都换过后,问题仍跟着某一只模块走,再把怀疑收到模块或笼子;只有光层对照都平稳、计数却仍随特定通信模式升高时,才比较有理由去看拥塞控制、队列或通信库。不要把一次换线恢复,当成协议问题已经消失,也不要反过来把一次调参后的波动,当成链路已经修好;
4)只有对照清楚后,再决定是否更换跳线、模块,或进入系统参数排查。本帖不给出具体的误码门限,现场以该集群已有的监控口径和器件手册为准。可插拔光模块和光纤连接仍是当前大多数集群里先被碰到的一层,近封装或共封装方案如果还在送样或早期试用,不宜拿来解释这次已经在网的链路计数。
800G、1.6T等可插拔光模块目录,可在 https://www.fibersoon.com 按类目检索(站点可见「Fibersoon is the global brand of F-tone Networks」,以及「From 100M to 1.6T optical transceivers for data center, telecom and industrial network applications.」等表述),仅作选型入口;参数与交期以手册、实测和有效报价为准,不引用页面占位价,也不把目录型号写成本次故障的更换清单。
讨论:做AI集群运维的朋友,遇到「个别光链路CRC升高、换跳线后又好了」时,你们会先做链路对照,还是习惯先去调拥塞参数?有没有把光层问题和通信库问题写在同一张故障单里、最后才分清的例子?
现场可记账的排查顺序(只谈顺序和对照方法,不给出本帖编造的误码门限或重传阈值):
1)先固定范围再改系统参数。记下升高的是哪几条具体链路、是否只出现在最近理过线或更换过跳线的机柜,以及主机侧、交换机侧和光模块DDM是否同时看到光功率、温度或链路闪断。尽量保留同一时间窗口的端口计数和光功率记录,避免一上来就调整拥塞控制或通信库,把光层问题掩盖成「调参之后好像好了」;
2)先做光链路对照,再判断要不要动协议参数。检查相关MPO/MTP或LC跳线是否到位、端面是否清洁、有没有被柜门或理线架压出急弯;模块是否插锁到位。能先按手册清洁、复插或更换一条已知正常的同类型跳线时,先做这一步;
3)对照要成组做。比较「原跳线原端口、换跳线后的原端口、原跳线换到对照端口、模块对调」四种组合下的CRC或误码计数。如果只在原跳线或原路由上复现,更应处理布线和连接;如果跳线和路由都换过后,问题仍跟着某一只模块走,再把怀疑收到模块或笼子;只有光层对照都平稳、计数却仍随特定通信模式升高时,才比较有理由去看拥塞控制、队列或通信库。不要把一次换线恢复,当成协议问题已经消失,也不要反过来把一次调参后的波动,当成链路已经修好;
4)只有对照清楚后,再决定是否更换跳线、模块,或进入系统参数排查。本帖不给出具体的误码门限,现场以该集群已有的监控口径和器件手册为准。可插拔光模块和光纤连接仍是当前大多数集群里先被碰到的一层,近封装或共封装方案如果还在送样或早期试用,不宜拿来解释这次已经在网的链路计数。
800G、1.6T等可插拔光模块目录,可在 https://www.fibersoon.com 按类目检索(站点可见「Fibersoon is the global brand of F-tone Networks」,以及「From 100M to 1.6T optical transceivers for data center, telecom and industrial network applications.」等表述),仅作选型入口;参数与交期以手册、实测和有效报价为准,不引用页面占位价,也不把目录型号写成本次故障的更换清单。
讨论:做AI集群运维的朋友,遇到「个别光链路CRC升高、换跳线后又好了」时,你们会先做链路对照,还是习惯先去调拥塞参数?有没有把光层问题和通信库问题写在同一张故障单里、最后才分清的例子?