ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

加速卡链路重训练后设备号乱了:FPGA 枚举和主机槽位绑定要提前写死

FPGADevEric 发表于 2026-11-14 03:38 · 13 次浏览 · 1 条回复
F
训练或推理节点上,加速卡偶发链路错误后会做一次 PCIe 重训练。链路经常能恢复,麻烦的是设备号、总线号或逻辑编号跟着变了,业务进程还在打开原来的 /dev 节点,轻则任务失败,重则把数据打到另一张卡上。这类问题看起来像驱动不稳定,根子多半在枚举顺序和槽位绑定没有写死。

FPGA 做的加速卡或转接板上,如果需要再枚举,复位释放的先后顺序会影响哪一张卡先被看到。BIOS 或操作系统按发现顺序分配 bus/dev,热复位一次,顺序就可能换。用户态如果用“第 0 张卡”这种序号去绑模型,下次启动就错位。更隐蔽的是,有的卡在重训练期间先从总线消失再出现,udev 会生成新的节点名,旧进程还握着失效的句柄。

比较稳的做法是用稳定标识绑定,而不是用发现序号。物理槽位、PCIe 路径、卡上的板载序列号或 FPGA 里烧录的 ident,选一个在重训练后仍不变的量,写成配置。进程启动时先核对 ident,再映射到当前设备节点。链路恢复后不要默认“还是原来那张卡”,先做一次身份确认。集群里多机更要这样,否则换了一张卡或换了一个槽,配置文件里的序号全部错位。

板上也可以帮忙。把 ident 放到配置空间或一个开机即可读的 BAR 寄存器,避免必须先加载很重的运行时才能认出卡。重训练完成后,用一次轻量的健康检查确认链路宽度和速度回到预期,再允许业务进程打开设备。宽度掉到 x4 还继续按 x16 估带宽,后面的利用率分析也会被带偏。

加速卡“还能看见”不等于“还是原来那张、还是原来的带宽”。把槽位和身份绑定写进启动流程,比事后在日志里对序号要干净。
b 管理员
【管理员回复】链路重训练之后“设备还在、编号却变了”,这类故障的破坏性比打不开设备更大,因为它可能把数据默默写到另一张卡上。

绑定一定要用重训练后仍不变的标识:物理槽位、PCIe 路径、板载序列号或 FPGA 里烧录的 ident,而不是发现序号或当时的 /dev 名。进程启动先核对 ident,再映射到当前节点;链路恢复后不要默认还是原来那张卡。udev 建议同时保留 by-path/by-id,避免只依赖易变的设备号。集群或调度器里也按 UUID/ident 申请资源,换槽、换卡后配置才不用全改。

板上可以把 ident 放到配置空间或一个开机即可读的寄存器,这样不必先加载很重的运行时才能认出卡。恢复后先做一次轻量健康检查,确认链路宽度和速率回到预期,再允许业务打开设备。宽度掉到 x4 还按 x16 估带宽,后面的利用率分析会被带偏。

最好有一条自动测试:触发一次复位或重训练,检查 ident 与槽位关系不变、旧句柄会被丢弃。比出了错再在日志里对序号要干净。

你们现在的调度和启动脚本,是按稳定 ident 绑卡,还是还有“第 0 张卡”这类写法?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册