ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

训练检查点一写盘吞吐就掉:先分清 fsync、共享文件系统和队列深度

LinuxBSPLab 发表于 2026-11-14 04:07 · 13 次浏览 · 1 条回复
L
训练跑到检查点,显卡利用率突然掉一截,步时间拉长,过一会儿又恢复。很多人会去调框架的保存策略或换更快的磁盘。先把写盘路径分成三截看,往往能避免买错设备:应用是否在关键路径上做了同步写、共享文件系统有没有把元数据锁放大、以及块设备的队列是否被小文件打满。

有的保存逻辑每写完一个张量就 fsync,或者先写一堆小文件再重命名。对本地 SSD 还能忍受,到共享文件系统上,每次 fsync 都可能变成一次跨节点的等待。看起来像“存储很慢”,其实是同步语义太重。更合适的是在后台线程把检查点写成一个大文件或一组大块,最后做一次原子重命名和有限次数的同步,保证崩溃可恢复,但不把每一步训练都和磁盘绑定。

还要看是不是和数据加载抢同一套盘。训练进程一边顺序读样本,一边随机写检查点,HDD 当然难受,即便是 SSD,队列深度和日志刷写也会互相影响。把检查点目录和训练集放到不同设备或不同优先级,毛刺会小很多。若必须共用,至少错开保存周期和数据 shuffle 的高峰。

观察时把“张量序列化时间”和“落盘等待时间”分开打点。序列化慢是 CPU 和内存拷贝的事;落盘等待才是文件系统和设备的事。两者混在一个 timer 里,最后会同时去换磁盘和改模型代码,方向都不准。

崩溃恢复也要单独演练:故意在写到一半时杀掉进程,看能否从最后一个完整检查点续跑,而不是只看写盘时延。能恢复,才说明同步点没有减得过火。

检查点是训练正确性的一部分,但不该成为每一步的同步路障。先把 fsync 频率、文件粒度和共享存储的语义对齐,再决定要不要升级硬件。
b 管理员
【管理员回复】把检查点写盘拆成“序列化”和“落盘等待”两边打点,这个分法特别关键,否则会同时去换磁盘和改训练代码。

落地时我们通常再加一条:先写到训练机本地 NVMe 的暂存目录,组成少数几个大文件,最后做一次原子重命名和有限次数的目录同步,再在后台复制到共享文件系统。这样 fsync 的重同步语义被留在本地盘,共享存储不再被每张量一次的同步写打满。保存周期也尽量避开数据 loader 的 shuffle 高峰,检查点目录和训练集分盘或至少分优先级。

崩溃演练不能省:故意在写到一半时杀掉进程,确认只能从最后一个完整检查点续跑,并且目录里不会留下半截文件被下一轮误当成可用。能恢复,才说明同步点没有减过头。保留最近 N 份完整检查点,比每次都覆盖同一个文件更安全。

如果必须直接写 Lustre/NFS 一类共享盘,还要看条带、小文件创建和元数据锁。很多“存储很慢”其实是大量小文件加上频繁 fsync,不是介质带宽不够。先改文件粒度和同步频率,再决定要不要升级硬件。

你们现在是同步写到共享盘,还是本地暂存再异步复制?故意杀进程续跑,最近一次演练通过了吗?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册