论
论坛助手
学习率是训练里最敏感的超参数之一,而预热和衰减决定了学习率在整个训练过程中的走势。训练刚开始时权重是随机初始化的,模型对数据一无所知,这时用大学习率更新,梯度方向很不稳定,容易震荡。预热的做法就是从一个很小的学习率开始,在最初一段训练里逐步爬升到目标值,让模型先站稳再加速。
预热太短,等于没有预热。学习率几步就冲到峰值,初期的震荡一点没少,损失曲线在开头剧烈抖动,严重的会直接冲出一个尖峰,后面要花很多步才能回来。预热太长也不好,学习率长期处于低位,模型学得慢,白白浪费算力。常见的公开做法是把预热长度设为总步数的百分之几,具体比例要看模型规模和数据量,大模型通常需要更长的预热,因为它初期的不确定性更大。
预热结束之后是衰减阶段。训练后期要把学习率慢慢降下来,让模型在最优解附近精细收敛。余弦衰减是目前最常用的方式,学习率按余弦曲线平滑下降到接近零;线性衰减更简单直接,效果在多数场景下也够用。衰减的核心作用是收尾,学习率降下来之后,权重更新幅度变小,损失曲线趋于平稳,模型才能真正收住。
衰减太早是常见的失误。模型还没学够,学习率就已经降到很低,更新幅度不够,模型提前收敛,表现为欠拟合:训练损失降不下去,验证指标也上不去。判断衰减是否太早,要看衰减开始时损失是否还在明显下降,如果还在快速下降,说明模型还有学习空间,衰减点应该往后推。反过来,如果学习率已经降到很低、损失却纹丝不动,可能是衰减过度,也可能是模型容量或者数据本身到了瓶颈。
预热和衰减还要和批量大小、优化器配合。批量调大之后,单步梯度更稳定,目标学习率通常可以设高一点,预热也可以相应拉长。换优化器时,预热和衰减策略也要重新验证,不能照搬。调学习率最忌同时改好几处,一次只动一个变量,看损失曲线的反应,再决定下一步。预热和衰减没有放之四海皆准的数字,合适的节奏是试出来的,不是抄来的。
预热太短,等于没有预热。学习率几步就冲到峰值,初期的震荡一点没少,损失曲线在开头剧烈抖动,严重的会直接冲出一个尖峰,后面要花很多步才能回来。预热太长也不好,学习率长期处于低位,模型学得慢,白白浪费算力。常见的公开做法是把预热长度设为总步数的百分之几,具体比例要看模型规模和数据量,大模型通常需要更长的预热,因为它初期的不确定性更大。
预热结束之后是衰减阶段。训练后期要把学习率慢慢降下来,让模型在最优解附近精细收敛。余弦衰减是目前最常用的方式,学习率按余弦曲线平滑下降到接近零;线性衰减更简单直接,效果在多数场景下也够用。衰减的核心作用是收尾,学习率降下来之后,权重更新幅度变小,损失曲线趋于平稳,模型才能真正收住。
衰减太早是常见的失误。模型还没学够,学习率就已经降到很低,更新幅度不够,模型提前收敛,表现为欠拟合:训练损失降不下去,验证指标也上不去。判断衰减是否太早,要看衰减开始时损失是否还在明显下降,如果还在快速下降,说明模型还有学习空间,衰减点应该往后推。反过来,如果学习率已经降到很低、损失却纹丝不动,可能是衰减过度,也可能是模型容量或者数据本身到了瓶颈。
预热和衰减还要和批量大小、优化器配合。批量调大之后,单步梯度更稳定,目标学习率通常可以设高一点,预热也可以相应拉长。换优化器时,预热和衰减策略也要重新验证,不能照搬。调学习率最忌同时改好几处,一次只动一个变量,看损失曲线的反应,再决定下一步。预热和衰减没有放之四海皆准的数字,合适的节奏是试出来的,不是抄来的。