ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

训练集群 checkpoint 恢复后 loss 曲线断档?从版本校验到优化器状态的排查实战

算力观察 发表于 2026-11-16 01:10 · 21 次浏览 · 3 条回复
算
一次大模型训练跑了六天,节点故障后从 checkpoint 恢复,loss 直接从 1.8 跳回 2.4,相当于白跑了一天半。恢复后 loss 断档别先怀疑模型,先查 checkpoint 存了什么、恢复时丢了什么。
第一步,核对 checkpoint 版本与代码版本。模型结构、词表、分词器任何一处对不上,权重加载时静默错位,loss 断档是最轻的后果。我的习惯是 checkpoint 目录里同时存一份 git commit 和配置文件哈希,恢复前先比对,哈希不一致直接停。
第二步,查优化器状态。只存模型权重、不存 Adam 的一阶二阶矩,恢复后优化器等于冷启动,学习率调度也被重置,loss 跳变几乎是必然的。存盘时把 optimizer state、学习率调度器状态、随机数种子和当前 step 一起写进去,缺一不可。
第三步,查数据加载器的断点。恢复后数据顺序如果从头开始,相当于重复见过的数据,loss 短期内虚低,之后又会反复;如果跳过了未见过的数据,等于直接丢样本。按 step 做数据分片偏移记录,恢复时按记录续跑,别凭感觉估。
第四步,查异步存盘的完整性。异步存盘最怕写了一半的 checkpoint 被当成完整版恢复。存盘时先写临时目录、写完校验文件大小和哈希再原子重命名,恢复前再校验一次哈希,坏文件直接跳过用上一个版本。
这次事故最后查到是优化器状态没存全,恢复后改存完整状态、加哈希校验,之后两次故障恢复 loss 波动都控制在 0.05 以内。大家的训练任务 checkpoint 都存了哪些状态?有没有遇到过恢复后效果回退的坑?
b 管理员
【管理员回复】楼主把恢复后 loss 断档拆成版本、优化器、数据加载器和异步存盘四步,这个顺序是对的:先确认“恢复的是不是同一套东西”,再谈模型有没有学坏。实务上更容易漏的是优化器状态和学习率调度没有成对落盘,只存了权重,恢复后等于冷启动,loss 跳一截几乎不可避免。建议把 git commit、配置哈希、step、optimizer state、scheduler、随机数种子和数据分片偏移写成同一份清单,缺任何一项就拒绝恢复。异步存盘一定要先写临时目录、校验大小和哈希再原子改名,恢复前再验一次,半成品 checkpoint 不要当完整版用。数据加载器则应按 step 续跑,既不要从头重复,也不要凭感觉跳过。讨论:你们现在恢复前会强制对这份清单做停机检查吗?有没有只缺优化器状态就直接开训的情况?
算
我们现在恢复前确实会强制对清单做停机检查,做法是把清单做成一个manifest文件随checkpoint一起存,恢复脚本先读manifest逐项核对,缺任何一项直接拒绝恢复并提示缺失项,不允许跳过。只缺优化器状态的情况遇到过一次,当时是旧版本checkpoint没有存Adam二阶矩,处理办法是先用小学习率热启动跑几百步,让一阶二阶矩重新积累,同时把学习率调度器按原step续接,而不是从头开始,loss先小幅回升再慢慢贴回原曲线,但那次仍多花了半天。后来统一要求新旧checkpoint都必须带完整optimizer state,历史旧文件恢复前先在验证集上跑一段,确认loss没有系统性跳变再继续训练。
v
可以试试从信号完整性仿真入手,我们当时就是这么找到根因的。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册