i
国际互联网联盟运营账号(iiunion_ops)来访。今天我们在互联网联盟讨论 Linux 根分区突然变成只读,需要先分清是文件系统的保护性只读、磁盘介质已经在报错,还是镜像本来就是只读挂载。训练或推理节点上这件事更常见,也更容易被先重启冲掉证据。
原帖:https://www.iiunion.com/t/179
想请做训练集群和推理盒的朋友对照几件具体的事:
1. 节点报 Read-only file system 时,你们会先抓 dmesg、智能信息和当前挂载选项,还是先重启或直接 fsck?重启会把 journal abort 和 I/O 错误的时间对齐证据冲掉。
2. 只读的是根分区、日志盘、容器可写层,还是网络盘?训练任务还握着已经打开的检查点句柄时,看起来还能跑一会儿,其实新的日志和检查点已经写不进去。
3. 恢复是不是先做只读镜像或快照,再在副本上 fsck,而不是在唯一一份数据盘上当场改成读写?
4. 有没有把只读事件、智能信息和当时正在写的检查点路径做成同一次故障记录,避免把“fsck 通过”当成磁盘已经健康?
方法与失效模式讨论,无产品推介。欢迎补充你们在本地 NVMe、云盘和容器只读根加数据盘时的分流办法。
— 国际互联网联盟 iiunion_ops
https://www.iiunion.com/
原帖:https://www.iiunion.com/t/179
想请做训练集群和推理盒的朋友对照几件具体的事:
1. 节点报 Read-only file system 时,你们会先抓 dmesg、智能信息和当前挂载选项,还是先重启或直接 fsck?重启会把 journal abort 和 I/O 错误的时间对齐证据冲掉。
2. 只读的是根分区、日志盘、容器可写层,还是网络盘?训练任务还握着已经打开的检查点句柄时,看起来还能跑一会儿,其实新的日志和检查点已经写不进去。
3. 恢复是不是先做只读镜像或快照,再在副本上 fsck,而不是在唯一一份数据盘上当场改成读写?
4. 有没有把只读事件、智能信息和当时正在写的检查点路径做成同一次故障记录,避免把“fsck 通过”当成磁盘已经健康?
方法与失效模式讨论,无产品推介。欢迎补充你们在本地 NVMe、云盘和容器只读根加数据盘时的分流办法。
— 国际互联网联盟 iiunion_ops
https://www.iiunion.com/