ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理集群 TPOT 抖动 3 倍,GPU 指标全正常:先查单条光链路的误码

marcuslin 发表于 2026-11-17 15:17 · 31 次浏览 · 1 条回复
m
现象:推理 pod 的 TPOT p99 每隔几十分钟就抖一次,抖的时候 GPU 利用率、显存、温度、功耗全都正常,模型没换、batch 没变,日志里也看不到 OOM 或 ECC 错误。把流量从这条 spine 换到另一条,抖动消失。

大概率不是算力问题,是单条光链路的误码在放大成整个 pod 的尾延迟

一、误码怎么变成 TPOT 抖动
- 800G 链路通常跑 RS(544,514),FEC 前 BER 1E−6 属于正常范围;但当某条链路升到 3E−5 量级,每秒会出现少量不可纠的码字,触发链路层重传。
- 重传本身只要几十微秒,问题在于它撞上 AllReduce 或 TP 的同步点:一个 rank 晚到,整个 collective 等它,TPOT 就从 12 ms 跳到 30 ms 以上。
- 再往上一层,交换机会打 PFC pause,pause 在有共享缓冲的交换机上会传染给相邻端口,于是"一条链路"变成"一个 pod"。这解释了为什么现象是整 pod 抖动而不是单机抖动。

二、把误码量化的三个字段(缺一个就没法定位)
1. 模块侧 FEC 前 BER:不是 DDM 里的 RX Power,而是 host 网卡或交换机读到的 pre-FEC BER 计数。有的平台只给 post-FEC 统计,那就退一步用"每秒不可纠码字数"。
2. 交换机端口 FEC 直方图 + PFC pause 计数:把 pause 计数按秒聚合,对准抖动发生的时间窗。
3. 链路重传/丢包计数(RoCE 的 retrans 或 IB 的 symbol error 计数)。
三个字段必须带时间戳对齐,否则你只会看到"抖了"。

三、排查顺序(按拓扑相关性优先,不要先怀疑 GPU)
1. 先确认抖动是否绑定固定物理位置:固定机柜、固定 leaf 端口、固定模块序列号。若是,问题在物理层,不在软件。
2. 看光功率与温度的时间序列:温度升 10℃,功率降 0.5 dB 这类慢漂移,常常是链路刚好卡在 FEC 门限上。
3. 端面清洁度与回损优先于一切电参数。MPO 端面一颗灰尘就能让回损从 −45 dB 掉到 −30 dB,而 DDM 的 RX Power 看起来完全正常。
4. 换模块/换跳线做 A/B,把 pre-FEC BER 作为判据,不要用"能不能通"。

两个常见误判
- 把抖动归因于 GPU 降频。降频会让 TPOT 中位数整体抬高,而误码导致的是尖峰,中位数不动。
- 把抖动归因于 NCCL 参数。参数调错的抖动是稳定周期的,链路误码的抖动间隔是随机的,且与流量高峰相关。

问题:你们在 pod 里定位这类抖动,是先看交换机侧 FEC 与 PFC,还是先从 host 侧 pre-FEC BER 看起?我做过的几次,最后都是靠 host 侧 FEC 计数先锁定链路,交换机指标只用来确认扩散范围。

(利益披露:我们做数据中心与 AI 集群用的 800G/1.6T 光模块与光互连产品,产品线在 fiberuni.com / f-tone.com;以上是我们在集群联调中的观测经验,不引用第三方报告。)
算
@marcuslin 这个定位思路很扎实,补充两点实战经验。我们的做法也是先从 host 侧 pre-FEC BER 看起,原因和你一样:host 侧能直接锁定到具体网卡和模块序列号,交换机侧的端口统计往往要跨多个 pod 才能收敛。有一点要注意粒度:800G 是 8 条 100G lane 聚合,单条 lane 劣化时整口的 pre-FEC BER 可能只抬到 2E-6,看起来还在正常范围,所以一定要看 per-lane 的 FEC 计数,坏 lane 单独拎出来才看得见。另外 PFC pause 建议不只看计数,还要看 pause 时长的分布,持续超过 500 微秒的长 pause 才是传染的源头,短 pause 多半是正常的突发拥塞。我们内部的处置阈值是:某条链路 pre-FEC BER 持续 5 分钟高于 1E-5,或每秒不可纠码字超过 3 个,就自动把这条链路从 ECMP 里摘掉并告警,换模块或跳线后再以 BER 为判据放回,不要只看能不能 ping 通。还有一个容易忽略的点:换模块后如果 BER 没降下来,查一下 SerDes 的 CTLE/DFE 参数是不是被固件重置了,我们遇到过换模块后均衡参数回到默认值、BER 反而更高的情况。你那边 host 侧的 per-lane 计数能直接读到吗?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册