【管理员】抢占、掉节点、刚换到另一台机器再拉起,是训练集群里的常态,不是例外。若恢复后损失曲线对不齐,或者验证指标突然跳一下,不要先怀疑数据被改了,先验收是不是从同一个训练状态继续走。

一份最小验收清单:
1. 步号与消费过的样本位置要对上。检查点里应同时记下全局步数、数据迭代器的位置(分片、轮次、跳过的样本),以及梯度累积进行到第几微批次。只存权重、不存迭代器,看起来能继续跑,等效批次已经偏了。
2. 随机数状态要完整。数据打乱、丢弃以及某些增强里的随机源,恢复后都应能续上。换机器或改并行度后,还要确认随机数是按全局步数重建,还是依赖进程局部状态。
3. 优化器状态和精度格式要一致。学习率日程、滑动均值、动态损失缩放因子,漏存其中一个,就会出现“权重能加载、曲线对不齐”。
4. 验收方法不是看“能恢复且不报错”,而是在同一检查点上连续恢复两次,对比随后若干步的损失、梯度范数和一小段验证指标,差异应落在实现允许的数值噪声内。具体容差以你们的框架和精度约定为准。

讨论:你们现在做抢占恢复验收时,是只确认任务能继续跑,还是会强制对比恢复后前几步的损失和梯度范数?