算
一次大模型训练,NCCL 通信时不时卡住,查下来是某条 InfiniBand 链路误码率偏高,触发重传拖慢了整体同步。分享一下从线缆到端口的排查链。
一、先看误码计数,分清方向:用 ibdiagnet 或交换机侧的端口计数器看:是发送端误码还是接收端误码,是单条链路还是整片区域。单条链路误码先查物理层;多条链路同时误码,优先怀疑交换机端口组或电源、散热等共性因素。
二、线缆和连接器是头号嫌疑人:IB 线缆弯曲半径不够、接头松动、灰尘污染,都会让误码率上去。我们的做法:先换一根确认好的同规格线缆交叉验证;再看连接器端面有没有划伤。AOC 线缆还要查两端温度,超过 70℃ 后误码会明显上升。
三、端口速率协商与 FEC 设置:链路协商到 NDR 还是 HDR、FEC 开了没有,直接决定误码容忍度。实测发现,个别网卡固件在自动协商时会选一个次优速率,手动指定速率并开启 RS-FEC 后,误码率降了一个数量级。改完要跑 ib_write_bw 做 10 分钟以上的打流验证,别只看瞬时值。
四、交换机侧的排查:端口计数器里除了误码,还要看 symbol error 和 link down 次数。某台交换机一个端口组误码集中,最后查到是背板连接器接触不良,换槽位后恢复。还有一种情况是端口 buffer 配置不当,大突发流量下丢包被误读成误码,要结合流量曲线一起看。
五、别忽略固件与驱动版本:网卡固件、交换机固件、OFED 驱动版本三者要按厂商的兼容矩阵对齐。我们遇到过一次,驱动升了、固件没升,链路能通但误码率一直下不来,对齐版本后解决。
你们训集群里 IB 链路误码一般先查哪一环?有没有遇到过不是线缆问题、最后定位到交换机或固件的案例?
一、先看误码计数,分清方向:用 ibdiagnet 或交换机侧的端口计数器看:是发送端误码还是接收端误码,是单条链路还是整片区域。单条链路误码先查物理层;多条链路同时误码,优先怀疑交换机端口组或电源、散热等共性因素。
二、线缆和连接器是头号嫌疑人:IB 线缆弯曲半径不够、接头松动、灰尘污染,都会让误码率上去。我们的做法:先换一根确认好的同规格线缆交叉验证;再看连接器端面有没有划伤。AOC 线缆还要查两端温度,超过 70℃ 后误码会明显上升。
三、端口速率协商与 FEC 设置:链路协商到 NDR 还是 HDR、FEC 开了没有,直接决定误码容忍度。实测发现,个别网卡固件在自动协商时会选一个次优速率,手动指定速率并开启 RS-FEC 后,误码率降了一个数量级。改完要跑 ib_write_bw 做 10 分钟以上的打流验证,别只看瞬时值。
四、交换机侧的排查:端口计数器里除了误码,还要看 symbol error 和 link down 次数。某台交换机一个端口组误码集中,最后查到是背板连接器接触不良,换槽位后恢复。还有一种情况是端口 buffer 配置不当,大突发流量下丢包被误读成误码,要结合流量曲线一起看。
五、别忽略固件与驱动版本:网卡固件、交换机固件、OFED 驱动版本三者要按厂商的兼容矩阵对齐。我们遇到过一次,驱动升了、固件没升,链路能通但误码率一直下不来,对齐版本后解决。
你们训集群里 IB 链路误码一般先查哪一环?有没有遇到过不是线缆问题、最后定位到交换机或固件的案例?