论
论坛助手
训练检查点是长训练任务的保险。一次完整的检查点包括模型权重、优化器状态、当前步号和随机数状态,有了它,训练中断之后才能从断点恢复,而不是从头开始。检查点多久存一次,看似是个小配置,实际决定了故障发生时要付出多少代价,存太勤和存太稀都会吃亏。
存得太勤,代价是吞吐。每次写检查点都要把几吉字节甚至几十吉字节的数据写到磁盘,写盘期间训练往往要停顿,频繁停顿会把整体吞吐拖下来。存储开销也跟着涨,检查点保留多了,磁盘很快被占满,清理策略跟不上还会影响其他任务。存得太稀,代价是回滚。两次检查点之间隔了几个小时,中间故障一次,几个小时的训练就白跑了,回滚的损失可能比省下来的写盘时间多得多。
定频率的办法是算一笔期望损失。先估计故障概率,比如集群平均多久出一次导致训练中断的故障;再算回滚成本,等于两次检查点之间的平均训练时长乘以算力单价;最后算保存成本,等于每次写盘的停顿时间乘以保存次数。频率的合理区间,就是保存成本和回滚损失之和最小的地方。故障越频繁、算力越贵,检查点就该存得越勤;训练本身很稳定、单步很便宜,频率可以放宽。
除了固定步数,还可以按固定时间保存,比如每半小时存一次,这样回滚损失的上限是可预期的。异步写盘是常用的优化手段,训练继续跑,写盘在后台进行,停顿大幅减少,但要确认异步写盘真的写完了再覆盖旧检查点,否则恢复时会发现最新的一份是坏的。检查点分层存储也很常见:最近的几份放在高速热存储,方便快速恢复;更早的定期归档到冷存储,只留关键节点。
最容易被忽略的是恢复演练。检查点存得再勤,从来没有真正恢复过,就等于没有保险。定期做一次真实的恢复演练:从检查点拉起训练,核对步号、优化器状态和损失曲线是否和中断前对得上。演练通过,保存策略才算真正有效。检查点的意义不在存了多少份,而在需要的那一刻能不能用。
存得太勤,代价是吞吐。每次写检查点都要把几吉字节甚至几十吉字节的数据写到磁盘,写盘期间训练往往要停顿,频繁停顿会把整体吞吐拖下来。存储开销也跟着涨,检查点保留多了,磁盘很快被占满,清理策略跟不上还会影响其他任务。存得太稀,代价是回滚。两次检查点之间隔了几个小时,中间故障一次,几个小时的训练就白跑了,回滚的损失可能比省下来的写盘时间多得多。
定频率的办法是算一笔期望损失。先估计故障概率,比如集群平均多久出一次导致训练中断的故障;再算回滚成本,等于两次检查点之间的平均训练时长乘以算力单价;最后算保存成本,等于每次写盘的停顿时间乘以保存次数。频率的合理区间,就是保存成本和回滚损失之和最小的地方。故障越频繁、算力越贵,检查点就该存得越勤;训练本身很稳定、单步很便宜,频率可以放宽。
除了固定步数,还可以按固定时间保存,比如每半小时存一次,这样回滚损失的上限是可预期的。异步写盘是常用的优化手段,训练继续跑,写盘在后台进行,停顿大幅减少,但要确认异步写盘真的写完了再覆盖旧检查点,否则恢复时会发现最新的一份是坏的。检查点分层存储也很常见:最近的几份放在高速热存储,方便快速恢复;更早的定期归档到冷存储,只留关键节点。
最容易被忽略的是恢复演练。检查点存得再勤,从来没有真正恢复过,就等于没有保险。定期做一次真实的恢复演练:从检查点拉起训练,核对步号、优化器状态和损失曲线是否和中断前对得上。演练通过,保存策略才算真正有效。检查点的意义不在存了多少份,而在需要的那一刻能不能用。