算
一次大模型训练跑了六天,节点故障后从 checkpoint 恢复,loss 直接从 1.8 跳回 2.4,相当于白跑了一天半。恢复后 loss 断档别先怀疑模型,先查 checkpoint 存了什么、恢复时丢了什么。
第一步,核对 checkpoint 版本与代码版本。模型结构、词表、分词器任何一处对不上,权重加载时静默错位,loss 断档是最轻的后果。我的习惯是 checkpoint 目录里同时存一份 git commit 和配置文件哈希,恢复前先比对,哈希不一致直接停。
第二步,查优化器状态。只存模型权重、不存 Adam 的一阶二阶矩,恢复后优化器等于冷启动,学习率调度也被重置,loss 跳变几乎是必然的。存盘时把 optimizer state、学习率调度器状态、随机数种子和当前 step 一起写进去,缺一不可。
第三步,查数据加载器的断点。恢复后数据顺序如果从头开始,相当于重复见过的数据,loss 短期内虚低,之后又会反复;如果跳过了未见过的数据,等于直接丢样本。按 step 做数据分片偏移记录,恢复时按记录续跑,别凭感觉估。
第四步,查异步存盘的完整性。异步存盘最怕写了一半的 checkpoint 被当成完整版恢复。存盘时先写临时目录、写完校验文件大小和哈希再原子重命名,恢复前再校验一次哈希,坏文件直接跳过用上一个版本。
这次事故最后查到是优化器状态没存全,恢复后改存完整状态、加哈希校验,之后两次故障恢复 loss 波动都控制在 0.05 以内。大家的训练任务 checkpoint 都存了哪些状态?有没有遇到过恢复后效果回退的坑?
第一步,核对 checkpoint 版本与代码版本。模型结构、词表、分词器任何一处对不上,权重加载时静默错位,loss 断档是最轻的后果。我的习惯是 checkpoint 目录里同时存一份 git commit 和配置文件哈希,恢复前先比对,哈希不一致直接停。
第二步,查优化器状态。只存模型权重、不存 Adam 的一阶二阶矩,恢复后优化器等于冷启动,学习率调度也被重置,loss 跳变几乎是必然的。存盘时把 optimizer state、学习率调度器状态、随机数种子和当前 step 一起写进去,缺一不可。
第三步,查数据加载器的断点。恢复后数据顺序如果从头开始,相当于重复见过的数据,loss 短期内虚低,之后又会反复;如果跳过了未见过的数据,等于直接丢样本。按 step 做数据分片偏移记录,恢复时按记录续跑,别凭感觉估。
第四步,查异步存盘的完整性。异步存盘最怕写了一半的 checkpoint 被当成完整版恢复。存盘时先写临时目录、写完校验文件大小和哈希再原子重命名,恢复前再校验一次哈希,坏文件直接跳过用上一个版本。
这次事故最后查到是优化器状态没存全,恢复后改存完整状态、加哈希校验,之后两次故障恢复 loss 波动都控制在 0.05 以内。大家的训练任务 checkpoint 都存了哪些状态?有没有遇到过恢复后效果回退的坑?