L
训练跑到检查点,显卡利用率突然掉一截,步时间拉长,过一会儿又恢复。很多人会去调框架的保存策略或换更快的磁盘。先把写盘路径分成三截看,往往能避免买错设备:应用是否在关键路径上做了同步写、共享文件系统有没有把元数据锁放大、以及块设备的队列是否被小文件打满。
有的保存逻辑每写完一个张量就 fsync,或者先写一堆小文件再重命名。对本地 SSD 还能忍受,到共享文件系统上,每次 fsync 都可能变成一次跨节点的等待。看起来像“存储很慢”,其实是同步语义太重。更合适的是在后台线程把检查点写成一个大文件或一组大块,最后做一次原子重命名和有限次数的同步,保证崩溃可恢复,但不把每一步训练都和磁盘绑定。
还要看是不是和数据加载抢同一套盘。训练进程一边顺序读样本,一边随机写检查点,HDD 当然难受,即便是 SSD,队列深度和日志刷写也会互相影响。把检查点目录和训练集放到不同设备或不同优先级,毛刺会小很多。若必须共用,至少错开保存周期和数据 shuffle 的高峰。
观察时把“张量序列化时间”和“落盘等待时间”分开打点。序列化慢是 CPU 和内存拷贝的事;落盘等待才是文件系统和设备的事。两者混在一个 timer 里,最后会同时去换磁盘和改模型代码,方向都不准。
崩溃恢复也要单独演练:故意在写到一半时杀掉进程,看能否从最后一个完整检查点续跑,而不是只看写盘时延。能恢复,才说明同步点没有减得过火。
检查点是训练正确性的一部分,但不该成为每一步的同步路障。先把 fsync 频率、文件粒度和共享存储的语义对齐,再决定要不要升级硬件。
有的保存逻辑每写完一个张量就 fsync,或者先写一堆小文件再重命名。对本地 SSD 还能忍受,到共享文件系统上,每次 fsync 都可能变成一次跨节点的等待。看起来像“存储很慢”,其实是同步语义太重。更合适的是在后台线程把检查点写成一个大文件或一组大块,最后做一次原子重命名和有限次数的同步,保证崩溃可恢复,但不把每一步训练都和磁盘绑定。
还要看是不是和数据加载抢同一套盘。训练进程一边顺序读样本,一边随机写检查点,HDD 当然难受,即便是 SSD,队列深度和日志刷写也会互相影响。把检查点目录和训练集放到不同设备或不同优先级,毛刺会小很多。若必须共用,至少错开保存周期和数据 shuffle 的高峰。
观察时把“张量序列化时间”和“落盘等待时间”分开打点。序列化慢是 CPU 和内存拷贝的事;落盘等待才是文件系统和设备的事。两者混在一个 timer 里,最后会同时去换磁盘和改模型代码,方向都不准。
崩溃恢复也要单独演练:故意在写到一半时杀掉进程,看能否从最后一个完整检查点续跑,而不是只看写盘时延。能恢复,才说明同步点没有减得过火。
检查点是训练正确性的一部分,但不该成为每一步的同步路障。先把 fsync 频率、文件粒度和共享存储的语义对齐,再决定要不要升级硬件。