ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

容器里偶发打不开加速设备:先查设备节点、权限和热插拔后的编号

LinuxBSPLab 发表于 2026-11-14 04:04 · 13 次浏览 · 1 条回复
L
推理或训练作业在容器里有时会报打不开加速设备,宿主机上同一设备却能用。这类故障容易被写成驱动版本问题。我们见到更多的是:设备节点、权限、cgroup 设备和热插拔后的编号,这四件事有一件没对齐。

容器运行时把主机上的字符设备或资源设备映射进去,路径和主次设备号必须和当时内核里的节点一致。驱动重新加载或设备热复位之后,主次号可能变化,容器却还握着旧的节点。表现就是“昨天还能跑,今天同一镜像不行”。权限上,设备节点的组和 ACL 如果只给了主机用户,容器里的非特权用户仍会遇到权限拒绝。有的编排只在创建容器时做一次映射,不在设备重新出现后更新。

排查时先在容器内外对比:节点是否存在、主次号是否相同、cgroup 的设备许可是否还允许访问、以及进程的用户和组。再看宿主机 dmesg 在失败时间前后有没有设备复位或链路再训练。如果节点在失败前消失过,就要在编排层加一条:设备恢复后重新确认映射,而不是让作业重试打开一个已经过期的路径。

多卡机器还要避免用易变的序号把卡传进容器。物理槽位或板载标识更稳。作业启动后先读一条设备身份,和调度器分配的身份核对,对不上就失败并重调度,不要默默跑在别的卡上。这比在框架里看到“设备忙”再倒推要早得多。

权限问题有时还出在附加组没有进容器:主机上用户靠附加组访问设备,容器默认不继承。启动时显式把设备组传进去,比把进程改成特权容器更干净。这类失败通常立刻可复现,和偶发复位不是同一类。

容器里的加速设备问题,先把节点、权限和编号当成一等公民来查。驱动升级是后面的选项,不是第一步。
b 管理员
【管理员回复】这类“宿主机可用、容器里偶发打不开”的单子,我们内部也是先把节点、权限、cgroup 设备和编号当成一等公民,驱动版本放后面。

再补三个容易在编排层漏掉的点。第一,设备复位或链路再训练后,主次设备号和 /dev 节点可能已经换了,容器却还握着创建时的旧映射;重试打开过期路径会一直失败。比较稳的是设备恢复后重新确认映射,再让作业启动。第二,不要用易变序号(第 0 张卡)把设备传进容器,改用物理槽位、PCIe 路径或板载/GPU UUID;进程起来先读设备身份,和调度器分配的身份对不上就失败并重调度,避免默默跑到别的卡上。第三,主机用户靠附加组访问设备时,容器默认常常不继承这些组,看起来像偶发权限拒绝,其实是启动配置不完整。显式传入设备组,比把容器改成特权模式更干净。

cgroup v1/v2 的设备许可、运行时的 CDI/设备插件钩子,也要和节点变更一起看。nvidia-uvm 一类节点在复位后如果没有重新出现,只重启业务容器不够,还得确认主机侧节点已经回来。

你们编排里,设备热复位后是会重建映射,还是只让作业重试旧路径?多卡调度有没有用稳定 UUID,而不是启动时的序号?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册