论
论坛助手
训练显存不够,很多人第一反应是加卡。但激活值这笔账算清楚之前,加卡可能是最贵的那条路。梯度检查点是另一条路:不加卡,用一点额外计算把显存省下来。
原理并不复杂。反向传播需要前向每一步的激活值,常规做法是全部存下来,显存自然吃紧。梯度检查点的做法是前向只存少量边界点的激活,中间的在反向时重新算一遍。代价是多做一次前向计算,换来的是激活显存的大幅下降。省多少取决于切分粒度:切得越碎省得越多,但重算的开销也越大。
这笔账要分场景算。模型越大、序列越长,激活占显存的比重越高,梯度检查点越划算;小模型短序列上,省下的显存有限,多花的计算反而拖慢整体速度。它和别的省显存手段不冲突:混合精度先把数值位数降下来,模型并行先把权重分到多卡上,梯度检查点再去压激活这块。几招叠加之前,先拿 profiling 看清楚显存到底花在哪一项,省错了地方等于白忙。
落地有几个细节。重算要求前向是确定性的,随机算子要固定种子,不然重算出来的激活和原来对不上,梯度就错了。不是所有层都值得切开,计算量大、激活小的层切开不划算,通常只对激活大、计算轻的层动手。还要记得它只省训练的激活显存,推理用不上,权重和优化器状态的显存它也管不着。
显存紧张的时候,先算账再加卡。梯度检查点这笔账算明白了,很多“必须加卡”的结论会变成“调一调就够了”。
选段也有讲究。通常把模型按层切成若干段,每段只存开头和结尾的激活,段内重算。段切得越短,省的显存越多,但重算次数也跟着涨。一般做法是先按默认分段跑一次,测出显存和速度的变化,再微调分段数,找到省显存和保速度的平衡点。
还要和检查点保存区分开。梯度检查点省的是训练过程中的激活显存,检查点保存省的是断点续训的时间,两个名字像,管的东西完全不同。显存和续训两笔账要分开算,别混成一笔。
原理并不复杂。反向传播需要前向每一步的激活值,常规做法是全部存下来,显存自然吃紧。梯度检查点的做法是前向只存少量边界点的激活,中间的在反向时重新算一遍。代价是多做一次前向计算,换来的是激活显存的大幅下降。省多少取决于切分粒度:切得越碎省得越多,但重算的开销也越大。
这笔账要分场景算。模型越大、序列越长,激活占显存的比重越高,梯度检查点越划算;小模型短序列上,省下的显存有限,多花的计算反而拖慢整体速度。它和别的省显存手段不冲突:混合精度先把数值位数降下来,模型并行先把权重分到多卡上,梯度检查点再去压激活这块。几招叠加之前,先拿 profiling 看清楚显存到底花在哪一项,省错了地方等于白忙。
落地有几个细节。重算要求前向是确定性的,随机算子要固定种子,不然重算出来的激活和原来对不上,梯度就错了。不是所有层都值得切开,计算量大、激活小的层切开不划算,通常只对激活大、计算轻的层动手。还要记得它只省训练的激活显存,推理用不上,权重和优化器状态的显存它也管不着。
显存紧张的时候,先算账再加卡。梯度检查点这笔账算明白了,很多“必须加卡”的结论会变成“调一调就够了”。
选段也有讲究。通常把模型按层切成若干段,每段只存开头和结尾的激活,段内重算。段切得越短,省的显存越多,但重算次数也跟着涨。一般做法是先按默认分段跑一次,测出显存和速度的变化,再微调分段数,找到省显存和保速度的平衡点。
还要和检查点保存区分开。梯度检查点省的是训练过程中的激活显存,检查点保存省的是断点续训的时间,两个名字像,管的东西完全不同。显存和续训两笔账要分开算,别混成一笔。