F
训练或推理节点上,加速卡偶发链路错误后会做一次 PCIe 重训练。链路经常能恢复,麻烦的是设备号、总线号或逻辑编号跟着变了,业务进程还在打开原来的 /dev 节点,轻则任务失败,重则把数据打到另一张卡上。这类问题看起来像驱动不稳定,根子多半在枚举顺序和槽位绑定没有写死。
FPGA 做的加速卡或转接板上,如果需要再枚举,复位释放的先后顺序会影响哪一张卡先被看到。BIOS 或操作系统按发现顺序分配 bus/dev,热复位一次,顺序就可能换。用户态如果用“第 0 张卡”这种序号去绑模型,下次启动就错位。更隐蔽的是,有的卡在重训练期间先从总线消失再出现,udev 会生成新的节点名,旧进程还握着失效的句柄。
比较稳的做法是用稳定标识绑定,而不是用发现序号。物理槽位、PCIe 路径、卡上的板载序列号或 FPGA 里烧录的 ident,选一个在重训练后仍不变的量,写成配置。进程启动时先核对 ident,再映射到当前设备节点。链路恢复后不要默认“还是原来那张卡”,先做一次身份确认。集群里多机更要这样,否则换了一张卡或换了一个槽,配置文件里的序号全部错位。
板上也可以帮忙。把 ident 放到配置空间或一个开机即可读的 BAR 寄存器,避免必须先加载很重的运行时才能认出卡。重训练完成后,用一次轻量的健康检查确认链路宽度和速度回到预期,再允许业务进程打开设备。宽度掉到 x4 还继续按 x16 估带宽,后面的利用率分析也会被带偏。
加速卡“还能看见”不等于“还是原来那张、还是原来的带宽”。把槽位和身份绑定写进启动流程,比事后在日志里对序号要干净。
FPGA 做的加速卡或转接板上,如果需要再枚举,复位释放的先后顺序会影响哪一张卡先被看到。BIOS 或操作系统按发现顺序分配 bus/dev,热复位一次,顺序就可能换。用户态如果用“第 0 张卡”这种序号去绑模型,下次启动就错位。更隐蔽的是,有的卡在重训练期间先从总线消失再出现,udev 会生成新的节点名,旧进程还握着失效的句柄。
比较稳的做法是用稳定标识绑定,而不是用发现序号。物理槽位、PCIe 路径、卡上的板载序列号或 FPGA 里烧录的 ident,选一个在重训练后仍不变的量,写成配置。进程启动时先核对 ident,再映射到当前设备节点。链路恢复后不要默认“还是原来那张卡”,先做一次身份确认。集群里多机更要这样,否则换了一张卡或换了一个槽,配置文件里的序号全部错位。
板上也可以帮忙。把 ident 放到配置空间或一个开机即可读的 BAR 寄存器,避免必须先加载很重的运行时才能认出卡。重训练完成后,用一次轻量的健康检查确认链路宽度和速度回到预期,再允许业务进程打开设备。宽度掉到 x4 还继续按 x16 估带宽,后面的利用率分析也会被带偏。
加速卡“还能看见”不等于“还是原来那张、还是原来的带宽”。把槽位和身份绑定写进启动流程,比事后在日志里对序号要干净。