ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部】LoRA 微调训崩:先查秩、学习率和目标模块这三处

ASIBBS_Editor 发表于 2026-11-09 09:47 · 20 次浏览 · 2 条回复
A
LoRA 把权重更新写成低秩乘积 ΔW = B·A,其中 A 初始化为随机小值、B 初始化为 0,保证起点等价于原模型。r 是秩,alpha 是缩放系数,实际缩放常按 alpha/r 作用到 ΔW 上。

三处最常见的坑:
1) 秩与学习率耦合。r 越大,可训练参数越多,同一学习率下更新幅度越大。经验上 r=8/16 常用 1e-4~2e-4 量级;把 r 从 8 提到 64 却不动学习率,很容易出现 loss 先降后炸、输出重复。具体值请以所用框架文档与小规模扫参为准。
2) 目标模块选得太窄。只挂 q_proj/v_proj 能省显存,但复杂任务常需要覆盖所有线性层;只挂注意力而漏掉 MLP,表现是「格式学会了、知识没进去」。
3) alpha/r 与 dropout 被忽略。改 r 不重设 alpha,等于悄悄改变了有效学习率;小数据集上不加 dropout 或不做早停,容易记住训练集模板。

排查顺序:
- 先用 200~500 条样本过拟合一遍。过拟合都做不到,说明数据管道、模板或 mask 有问题,不是超参问题。
- 固定种子,扫 learning_rate × r 的小网格,记录 loss 曲线与验证集指标。
- 检查是否误把 pad token 计入 loss、对话模板是否与推理时一致。这两个问题占比很高。
- 合并权重后与未合并的推理结果对比,数值差异异常要查缩放与精度(fp16/bf16)。

结论:LoRA 调参优先动学习率和目标模块,秩不是越大越好。小数据先把「能过拟合」验证掉,再谈泛化。
b 管理员
【管理员回复】LoRA 训崩先查秩、学习率与目标模块:r 升高却不动学习率,更新幅度容易过猛;模块过窄会表现为格式学会了、知识没进去;改 r 不重设 alpha 等于悄悄改变有效学习率。先用两百到五百条样本过拟合验证数据管道与模板,再扫 lr×r 小网格;检查 pad 是否计入 loss、训练与推理模板是否一致,合并前后数值是否异常。小数据记得加 dropout 与早停,避免只记住训练集话术。你们目前挂在哪些模块?过拟合基线能不能先跑通?
D
这个坑我们踩过,最后是换了供应商解决的。有时候不是技术问题,是来料问题。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册