ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

跨机柜集合通信偶发重传,错误计数集中在同一批次光模块:先查链路还是先改通信库?

ben_liu_06 发表于 2026-11-18 02:33 · 18 次浏览 · 2 条回复
b 管理员
现场偶发这样一类现象:大规模训练或推理任务在做跨机柜集合通信时,会出现偶发重传、等待或通信超时;把同一作业参数放到别的机柜组合上不一定复现。查交换机和网卡计数时,CRC、FCS或光链路误码往往集中在某一批光模块、某一批跳线,或某一对spine/leaf端口上,而相邻采用其他批次模块的链路是干净的。作业脚本和通信库版本并没有改。下面只讨论排查顺序,不给出本帖编造的误码门限或必须更换的型号。

现场可记账的排查顺序:
1)先把故障和物理链路对应起来,而不是先改NCCL、RCCL或其他通信库参数。记下哪几次集合通信失败、失败是否总经过同一组端口或同一批次模块,DDM温度和收发光是否异常,以及把可疑模块或跳线换到相邻正常端口后,错误计数是否跟着走。如果错误跟着某一批次模块或某一根跳线移动,应优先处理链路,而不是先调整拥塞控制或通信库版本;
2)再做批次和位置对照。核对模块料号、固件、生产批次和上架时间,检查跳线端面、MPO极性、弯曲和锁紧。用已知正常的模块和跳线替换可疑段落,看集合通信重传是否下降。如果只在原机柜、原槽位复现,还要查风道、供电和交换机端口;如果换到别的槽位仍复现,更应隔离该批次模块或该批跳线,而不是先扩大改作业并行度;
3)通信库和拥塞控制放到链路对照之后。只有在模块、跳线、端口计数都做过,错误已经不再集中在同一物理段落时,再考虑通信库、拓扑和负载本身。不要用一次「改了通信库之后当晚没再超时」证明光链路没有问题,因为偶发重传可能还没再次撞上那条有损伤的路径。

数据中心侧常用的光模块、DAC/AOC和MTP/MPO跳线类目,可在 https://www.fibersoon.com 与 https://www.fiberdo.com 按分类检索(前者可见F-tone Networks品牌及100M至1.6T光模块目录;后者可见「10G~400G~800G~1.6T 全速率光模块与高速线缆」以及DAC/AOC、MTP/MPO跳线等类目),仅作选型入口;具体兼容性、批次和交期以认证记录、实测和有效报价为准,不引用页面占位价,也不把目录写成必须更换的清单。

讨论:做智算集群运维的朋友,遇到「集合通信偶发重传、错误计数却堆在同一批模块上」时,你们会先把链路计数和批次对照做完,还是习惯先改通信库?有没有换掉该批次模块或跳线之后,作业就恢复稳定的例子?
算
补一个能把"批次问题"和"通信库问题"分开的实操办法,比换模块更快出结论:把交换机侧的 FEC 计数器按 lane 读出来,而不是只看链路级的错误计数。

原因很直接:800G 一条链路是 8 个 lane,批次性的端面或固件问题通常先在 1–2 个 lane 上积累 symbol error,链路级计数器会被 FEC 纠错掩盖,看起来只是"偶发重传"。按 lane 看,同一批次模块往往呈现同一两个 lane 持续劣化,而通信库或拥塞问题在 8 个 lane 上是均匀的,这个分布差异就是判据。

另外两个容易踩的点:一是换模块后必须先清零计数器再观察,否则老计数会跟着端口走,得出"换了还是坏"的错误结论;二是把观察窗口放到 24 小时以上的累计计数,而不是单次作业期间的增量,偶发重传本来就撞概率。

反例也说一个:我们遇到过一次"换了模块还是重传",最后是跳线端面污染加 MPO 极性混用,模块本身没坏。所以顺序上我赞成先链路后通信库,但链路这一步要把跳线和端面一起算进去。

想反问一句:你们读 FEC 计数是走带内 DDM/I2C,还是交换机的 telemetry?前者轮询慢、容易漏掉短时突发,我这边两种都用,结论差别不小。
算
赞成先链路后通信库的顺序,再补两点实操细节。第一,读 FEC 计数建议以交换机 telemetry 为主、DDM 轮询为辅:telemetry 能按 lane 出 pre-FEC 的 symbol error 和 corrected 码字数,轮询间隔一般能到秒级,而带内 DDM 轮询慢,偶发突发的误码峰值很容易漏掉。我们的做法是把两边的计数按同一时间窗口对齐,telemetry 看趋势、DDM 看模块健康度,两边都指向同一批模块时才下结论。第二,换模块验证时要做“跟随性”对照:把可疑模块换到另一台干净链路的槽位上,如果误码跟着模块走,就是批次问题;如果误码留在原端口,就是端口或跳线问题,这比只看重传是否消失更能定位。另外提醒一点,集合通信超时后 NCCL 的重传会把一次物理误码放大成整轮同步等待,所以光看作业层面的超时次数会高估故障范围,一定要回到端口计数器按 lane 分。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册