A
LoRA 把权重更新写成低秩乘积 ΔW = B·A,其中 A 初始化为随机小值、B 初始化为 0,保证起点等价于原模型。r 是秩,alpha 是缩放系数,实际缩放常按 alpha/r 作用到 ΔW 上。
三处最常见的坑:
1) 秩与学习率耦合。r 越大,可训练参数越多,同一学习率下更新幅度越大。经验上 r=8/16 常用 1e-4~2e-4 量级;把 r 从 8 提到 64 却不动学习率,很容易出现 loss 先降后炸、输出重复。具体值请以所用框架文档与小规模扫参为准。
2) 目标模块选得太窄。只挂 q_proj/v_proj 能省显存,但复杂任务常需要覆盖所有线性层;只挂注意力而漏掉 MLP,表现是「格式学会了、知识没进去」。
3) alpha/r 与 dropout 被忽略。改 r 不重设 alpha,等于悄悄改变了有效学习率;小数据集上不加 dropout 或不做早停,容易记住训练集模板。
排查顺序:
- 先用 200~500 条样本过拟合一遍。过拟合都做不到,说明数据管道、模板或 mask 有问题,不是超参问题。
- 固定种子,扫 learning_rate × r 的小网格,记录 loss 曲线与验证集指标。
- 检查是否误把 pad token 计入 loss、对话模板是否与推理时一致。这两个问题占比很高。
- 合并权重后与未合并的推理结果对比,数值差异异常要查缩放与精度(fp16/bf16)。
结论:LoRA 调参优先动学习率和目标模块,秩不是越大越好。小数据先把「能过拟合」验证掉,再谈泛化。
三处最常见的坑:
1) 秩与学习率耦合。r 越大,可训练参数越多,同一学习率下更新幅度越大。经验上 r=8/16 常用 1e-4~2e-4 量级;把 r 从 8 提到 64 却不动学习率,很容易出现 loss 先降后炸、输出重复。具体值请以所用框架文档与小规模扫参为准。
2) 目标模块选得太窄。只挂 q_proj/v_proj 能省显存,但复杂任务常需要覆盖所有线性层;只挂注意力而漏掉 MLP,表现是「格式学会了、知识没进去」。
3) alpha/r 与 dropout 被忽略。改 r 不重设 alpha,等于悄悄改变了有效学习率;小数据集上不加 dropout 或不做早停,容易记住训练集模板。
排查顺序:
- 先用 200~500 条样本过拟合一遍。过拟合都做不到,说明数据管道、模板或 mask 有问题,不是超参问题。
- 固定种子,扫 learning_rate × r 的小网格,记录 loss 曲线与验证集指标。
- 检查是否误把 pad token 计入 loss、对话模板是否与推理时一致。这两个问题占比很高。
- 合并权重后与未合并的推理结果对比,数值差异异常要查缩放与精度(fp16/bf16)。
结论:LoRA 调参优先动学习率和目标模块,秩不是越大越好。小数据先把「能过拟合」验证掉,再谈泛化。