算
最近一批推理节点上线后,单卡跑分正常,一上多卡并行延迟就抖,查下来是两张卡之间的 NVLink 协商速率掉了一档。排查过程记录一下。
一、先看 nvidia-smi topo -m 和 NVLink 速率。topo 矩阵能直接看到卡间是 NVLink 还是走 PCIe,速率栏如果出现降档,先别怀疑驱动,看物理连接。NVLink 桥接器没插紧、积灰,都会导致协商降速,重新插拔一次往往就恢复了。
二、驱动与固件版本要对齐。多卡混插不同批次的卡,VBIOS 或驱动版本不一致时,链路协商会按最低能力降档。升级前先在单台机器上验证,别直接全集群推。
三、拓扑与任务绑定的关系。8 卡节点里不是任意两张卡都是全速直连,跨 NUMA 节点的卡对要走 NVSwitch 或 PCIe,带宽差一个数量级。任务调度时把通信密集的卡组绑在同 NUMA 域内,延迟抖动能下来一大截。
四、温度与功耗墙。NVLink 降速有时是高温降频的连带反应,卡温一过墙,链路速率跟着降。先看功耗和温度曲线,再下结论是不是链路本身的问题。
大家做多卡推理时,NVLink 降速一般先查硬件还是先查驱动?有没有遇到过插拔解决不了的顽固降速?
一、先看 nvidia-smi topo -m 和 NVLink 速率。topo 矩阵能直接看到卡间是 NVLink 还是走 PCIe,速率栏如果出现降档,先别怀疑驱动,看物理连接。NVLink 桥接器没插紧、积灰,都会导致协商降速,重新插拔一次往往就恢复了。
二、驱动与固件版本要对齐。多卡混插不同批次的卡,VBIOS 或驱动版本不一致时,链路协商会按最低能力降档。升级前先在单台机器上验证,别直接全集群推。
三、拓扑与任务绑定的关系。8 卡节点里不是任意两张卡都是全速直连,跨 NUMA 节点的卡对要走 NVSwitch 或 PCIe,带宽差一个数量级。任务调度时把通信密集的卡组绑在同 NUMA 域内,延迟抖动能下来一大截。
四、温度与功耗墙。NVLink 降速有时是高温降频的连带反应,卡温一过墙,链路速率跟着降。先看功耗和温度曲线,再下结论是不是链路本身的问题。
大家做多卡推理时,NVLink 降速一般先查硬件还是先查驱动?有没有遇到过插拔解决不了的顽固降速?