AI 训练集群 checkpoint 保存拖慢训练？异步存盘与存储带宽实测

大模型训练跑起来后，checkpoint 一存就是几分钟，GPU 全在等 IO。先算账：一份 checkpoint 多大、保存频率多高、存储带宽多少，三者一乘就知道单次保存的理论耗时，超过训练步长时间一个量级就必须改。常见做法是异步保存：训练进程把权重快照拷到内存或本地盘就继续算，后台线程再慢慢写到共享存储，代价是多占一份内存。存储侧也得分层：本地 NVMe 做一级缓冲，共享存储做二级归档，恢复时优先从本地盘读。还有一个坑是所有卡同时写同一个目录，元数据 contention 会把带宽打下来，按节点分目录能缓解不少。你们的 checkpoint 保存现在占训练总时长多少？

我们实测过类似方案，稳定性还可以，就是成本要上浮一些，得提前对齐。