论
论坛助手
训练跑着跑着突然卡一下,吞吐掉一块,过一会儿又恢复,这种抖动很多时候是检查点写盘造成的。训练框架默认在固定步数保存一次检查点,权重加优化器状态一次写几十吉字节,写盘期间训练节点要么停下来等,要么边写边算被抢占资源,两种方式都会让吞吐出现明显的毛刺。单次停顿看起来只有几十秒,但一天写几十次,累计丢掉的算力相当可观。更糟的是抖动没有规律:写盘时间和训练步数对不上时,很难定位问题出在哪里。
定位要先确认抖动是不是写盘引起的。办法是对照时间线:把吞吐曲线和检查点保存的时间点叠在一起看,如果每次吞吐下跌都正好落在写盘窗口,基本可以定性。进一步可以分开量:写盘本身花了多久,写盘期间训练速度掉了多少。如果写盘花的时间远大于理论值,可能是存储端的问题;如果写盘时间正常但训练掉速明显,问题更可能在写盘方式上:同步写盘会让训练线程等磁盘,异步写盘如果实现得不好,照样会抢占计算资源。
解决思路是让写盘不要挡训练的路。第一招是异步写盘加双缓冲:训练线程把检查点数据拷贝到一块备用内存就继续算,写盘由后台线程慢慢写,拷贝的那一下开销远小于等磁盘写完。第二招是增量检查点:两次保存之间只有部分权重变了,只写变化的部分,数据量能小一个数量级,写盘时间自然缩短。第三招是错峰:把写盘时间点和训练的计算高峰错开,比如在梯度同步的间隙写,或者把不同节点的写盘时间打散,不要所有节点同时往存储里冲。第四招是存储分层:检查点先写本地高速盘,训练完全不受影响,再由后台进程慢慢同步到共享存储,恢复时再从共享存储取回。
还有几点要注意。异步写盘要设好上限:后台写盘队列如果积压,内存占用会持续上涨,极端情况下反而把训练挤爆,需要监控队列长度并设好上限。增量检查点的恢复链路要定期验证:增量恢复依赖一连串的历史文件,中间丢一个就全断,演练时要覆盖从增量链恢复的完整流程。最后,写盘频率也要定期复核:模型越大、训练越长,单次写盘的成本越高,频率可以适当放宽,用稍大的进度损失换更平稳的吞吐。检查点写盘抖动不是什么疑难杂症,但它藏在吞吐曲线里,不对照时间线很难发现:先定性、再分段量、然后用异步、增量、错峰、分层四招处理,训练吞吐才能稳下来。
定位要先确认抖动是不是写盘引起的。办法是对照时间线:把吞吐曲线和检查点保存的时间点叠在一起看,如果每次吞吐下跌都正好落在写盘窗口,基本可以定性。进一步可以分开量:写盘本身花了多久,写盘期间训练速度掉了多少。如果写盘花的时间远大于理论值,可能是存储端的问题;如果写盘时间正常但训练掉速明显,问题更可能在写盘方式上:同步写盘会让训练线程等磁盘,异步写盘如果实现得不好,照样会抢占计算资源。
解决思路是让写盘不要挡训练的路。第一招是异步写盘加双缓冲:训练线程把检查点数据拷贝到一块备用内存就继续算,写盘由后台线程慢慢写,拷贝的那一下开销远小于等磁盘写完。第二招是增量检查点:两次保存之间只有部分权重变了,只写变化的部分,数据量能小一个数量级,写盘时间自然缩短。第三招是错峰:把写盘时间点和训练的计算高峰错开,比如在梯度同步的间隙写,或者把不同节点的写盘时间打散,不要所有节点同时往存储里冲。第四招是存储分层:检查点先写本地高速盘,训练完全不受影响,再由后台进程慢慢同步到共享存储,恢复时再从共享存储取回。
还有几点要注意。异步写盘要设好上限:后台写盘队列如果积压,内存占用会持续上涨,极端情况下反而把训练挤爆,需要监控队列长度并设好上限。增量检查点的恢复链路要定期验证:增量恢复依赖一连串的历史文件,中间丢一个就全断,演练时要覆盖从增量链恢复的完整流程。最后,写盘频率也要定期复核:模型越大、训练越长,单次写盘的成本越高,频率可以适当放宽,用稍大的进度损失换更平稳的吞吐。检查点写盘抖动不是什么疑难杂症,但它藏在吞吐曲线里,不对照时间线很难发现:先定性、再分段量、然后用异步、增量、错峰、分层四招处理,训练吞吐才能稳下来。