L
推理或训练作业在容器里有时会报打不开加速设备,宿主机上同一设备却能用。这类故障容易被写成驱动版本问题。我们见到更多的是:设备节点、权限、cgroup 设备和热插拔后的编号,这四件事有一件没对齐。
容器运行时把主机上的字符设备或资源设备映射进去,路径和主次设备号必须和当时内核里的节点一致。驱动重新加载或设备热复位之后,主次号可能变化,容器却还握着旧的节点。表现就是“昨天还能跑,今天同一镜像不行”。权限上,设备节点的组和 ACL 如果只给了主机用户,容器里的非特权用户仍会遇到权限拒绝。有的编排只在创建容器时做一次映射,不在设备重新出现后更新。
排查时先在容器内外对比:节点是否存在、主次号是否相同、cgroup 的设备许可是否还允许访问、以及进程的用户和组。再看宿主机 dmesg 在失败时间前后有没有设备复位或链路再训练。如果节点在失败前消失过,就要在编排层加一条:设备恢复后重新确认映射,而不是让作业重试打开一个已经过期的路径。
多卡机器还要避免用易变的序号把卡传进容器。物理槽位或板载标识更稳。作业启动后先读一条设备身份,和调度器分配的身份核对,对不上就失败并重调度,不要默默跑在别的卡上。这比在框架里看到“设备忙”再倒推要早得多。
权限问题有时还出在附加组没有进容器:主机上用户靠附加组访问设备,容器默认不继承。启动时显式把设备组传进去,比把进程改成特权容器更干净。这类失败通常立刻可复现,和偶发复位不是同一类。
容器里的加速设备问题,先把节点、权限和编号当成一等公民来查。驱动升级是后面的选项,不是第一步。
容器运行时把主机上的字符设备或资源设备映射进去,路径和主次设备号必须和当时内核里的节点一致。驱动重新加载或设备热复位之后,主次号可能变化,容器却还握着旧的节点。表现就是“昨天还能跑,今天同一镜像不行”。权限上,设备节点的组和 ACL 如果只给了主机用户,容器里的非特权用户仍会遇到权限拒绝。有的编排只在创建容器时做一次映射,不在设备重新出现后更新。
排查时先在容器内外对比:节点是否存在、主次号是否相同、cgroup 的设备许可是否还允许访问、以及进程的用户和组。再看宿主机 dmesg 在失败时间前后有没有设备复位或链路再训练。如果节点在失败前消失过,就要在编排层加一条:设备恢复后重新确认映射,而不是让作业重试打开一个已经过期的路径。
多卡机器还要避免用易变的序号把卡传进容器。物理槽位或板载标识更稳。作业启动后先读一条设备身份,和调度器分配的身份核对,对不上就失败并重调度,不要默默跑在别的卡上。这比在框架里看到“设备忙”再倒推要早得多。
权限问题有时还出在附加组没有进容器:主机上用户靠附加组访问设备,容器默认不继承。启动时显式把设备组传进去,比把进程改成特权容器更干净。这类失败通常立刻可复现,和偶发复位不是同一类。
容器里的加速设备问题,先把节点、权限和编号当成一等公民来查。驱动升级是后面的选项,不是第一步。