m
现象:推理 pod 的 TPOT p99 每隔几十分钟就抖一次,抖的时候 GPU 利用率、显存、温度、功耗全都正常,模型没换、batch 没变,日志里也看不到 OOM 或 ECC 错误。把流量从这条 spine 换到另一条,抖动消失。
大概率不是算力问题,是单条光链路的误码在放大成整个 pod 的尾延迟
一、误码怎么变成 TPOT 抖动
- 800G 链路通常跑 RS(544,514),FEC 前 BER 1E−6 属于正常范围;但当某条链路升到 3E−5 量级,每秒会出现少量不可纠的码字,触发链路层重传。
- 重传本身只要几十微秒,问题在于它撞上 AllReduce 或 TP 的同步点:一个 rank 晚到,整个 collective 等它,TPOT 就从 12 ms 跳到 30 ms 以上。
- 再往上一层,交换机会打 PFC pause,pause 在有共享缓冲的交换机上会传染给相邻端口,于是"一条链路"变成"一个 pod"。这解释了为什么现象是整 pod 抖动而不是单机抖动。
二、把误码量化的三个字段(缺一个就没法定位)
1. 模块侧 FEC 前 BER:不是 DDM 里的 RX Power,而是 host 网卡或交换机读到的 pre-FEC BER 计数。有的平台只给 post-FEC 统计,那就退一步用"每秒不可纠码字数"。
2. 交换机端口 FEC 直方图 + PFC pause 计数:把 pause 计数按秒聚合,对准抖动发生的时间窗。
3. 链路重传/丢包计数(RoCE 的 retrans 或 IB 的 symbol error 计数)。
三个字段必须带时间戳对齐,否则你只会看到"抖了"。
三、排查顺序(按拓扑相关性优先,不要先怀疑 GPU)
1. 先确认抖动是否绑定固定物理位置:固定机柜、固定 leaf 端口、固定模块序列号。若是,问题在物理层,不在软件。
2. 看光功率与温度的时间序列:温度升 10℃,功率降 0.5 dB 这类慢漂移,常常是链路刚好卡在 FEC 门限上。
3. 端面清洁度与回损优先于一切电参数。MPO 端面一颗灰尘就能让回损从 −45 dB 掉到 −30 dB,而 DDM 的 RX Power 看起来完全正常。
4. 换模块/换跳线做 A/B,把 pre-FEC BER 作为判据,不要用"能不能通"。
两个常见误判
- 把抖动归因于 GPU 降频。降频会让 TPOT 中位数整体抬高,而误码导致的是尖峰,中位数不动。
- 把抖动归因于 NCCL 参数。参数调错的抖动是稳定周期的,链路误码的抖动间隔是随机的,且与流量高峰相关。
问题:你们在 pod 里定位这类抖动,是先看交换机侧 FEC 与 PFC,还是先从 host 侧 pre-FEC BER 看起?我做过的几次,最后都是靠 host 侧 FEC 计数先锁定链路,交换机指标只用来确认扩散范围。
(利益披露:我们做数据中心与 AI 集群用的 800G/1.6T 光模块与光互连产品,产品线在 fiberuni.com / f-tone.com;以上是我们在集群联调中的观测经验,不引用第三方报告。)
大概率不是算力问题,是单条光链路的误码在放大成整个 pod 的尾延迟
一、误码怎么变成 TPOT 抖动
- 800G 链路通常跑 RS(544,514),FEC 前 BER 1E−6 属于正常范围;但当某条链路升到 3E−5 量级,每秒会出现少量不可纠的码字,触发链路层重传。
- 重传本身只要几十微秒,问题在于它撞上 AllReduce 或 TP 的同步点:一个 rank 晚到,整个 collective 等它,TPOT 就从 12 ms 跳到 30 ms 以上。
- 再往上一层,交换机会打 PFC pause,pause 在有共享缓冲的交换机上会传染给相邻端口,于是"一条链路"变成"一个 pod"。这解释了为什么现象是整 pod 抖动而不是单机抖动。
二、把误码量化的三个字段(缺一个就没法定位)
1. 模块侧 FEC 前 BER:不是 DDM 里的 RX Power,而是 host 网卡或交换机读到的 pre-FEC BER 计数。有的平台只给 post-FEC 统计,那就退一步用"每秒不可纠码字数"。
2. 交换机端口 FEC 直方图 + PFC pause 计数:把 pause 计数按秒聚合,对准抖动发生的时间窗。
3. 链路重传/丢包计数(RoCE 的 retrans 或 IB 的 symbol error 计数)。
三个字段必须带时间戳对齐,否则你只会看到"抖了"。
三、排查顺序(按拓扑相关性优先,不要先怀疑 GPU)
1. 先确认抖动是否绑定固定物理位置:固定机柜、固定 leaf 端口、固定模块序列号。若是,问题在物理层,不在软件。
2. 看光功率与温度的时间序列:温度升 10℃,功率降 0.5 dB 这类慢漂移,常常是链路刚好卡在 FEC 门限上。
3. 端面清洁度与回损优先于一切电参数。MPO 端面一颗灰尘就能让回损从 −45 dB 掉到 −30 dB,而 DDM 的 RX Power 看起来完全正常。
4. 换模块/换跳线做 A/B,把 pre-FEC BER 作为判据,不要用"能不能通"。
两个常见误判
- 把抖动归因于 GPU 降频。降频会让 TPOT 中位数整体抬高,而误码导致的是尖峰,中位数不动。
- 把抖动归因于 NCCL 参数。参数调错的抖动是稳定周期的,链路误码的抖动间隔是随机的,且与流量高峰相关。
问题:你们在 pod 里定位这类抖动,是先看交换机侧 FEC 与 PFC,还是先从 host 侧 pre-FEC BER 看起?我做过的几次,最后都是靠 host 侧 FEC 计数先锁定链路,交换机指标只用来确认扩散范围。
(利益披露:我们做数据中心与 AI 集群用的 800G/1.6T 光模块与光互连产品,产品线在 fiberuni.com / f-tone.com;以上是我们在集群联调中的观测经验,不引用第三方报告。)