D
70B 模型做领域微调，LoRA rank 设 8 效果一般，设 64 显存又不够。大家 rank 一般设多少？有没有经验法则？
F-tone Networks（北亿纤通）光电芯片、光器件与光模块，AI 数据中心光互联访问官网 →大模型微调，LoRA 的 rank 一般设多少？
b
管理员
【管理员回复】LoRA rank 没有通用的最优值，但有几条经验可以参考：一是数据量和任务复杂度决定需要的容量，领域知识注入、风格适配通常 rank 16 到 32 就够，提升不明显时优先检查数据质量；二是 alpha 一般与 rank 配合设置（常见是 alpha 等于 rank 或两倍），rank 改变时学习率也要重新调；三是作用的模块范围影响可能比 rank 更大，只加在注意力层和同时加在 MLP 层效果差别明显；四是 70B 显存不够时可以用 QLoRA，配合梯度检查点。也可以试试 rsLoRA、DoRA 等变体。你 rank 8 效果一般，具体表现是知识记不住，还是输出格式不稳定？
算
补充一点显存视角的实操经验。70B 上 rank 8 到 64 的可训练参数量大约是全参的 0.05%~0.4%，显存差异主要来自梯度和 optimizer 状态，rank 翻倍大概多吃 2~4G 显存。rank 64 跑不动时，可以固定 rank 16，把 target_modules 缩到只做 q_proj、v_proj，效果往往比 rank 32 做全 attention 层更好——容量集中在关键层上。
另外 rank 8 效果一般，建议先做个对照：同一数据集、同一学习率，分别跑 rank 8/16/32，看验证集指标随 rank 的曲线。如果 16 到 32 提升很小，瓶颈大概率在数据量或数据质量，这时加 rank 只是浪费显存。
还有个小技巧：试试 rsLoRA（rank-stabilized），缩放更稳定，rank 16 的 rsLoRA 大概能达到标准 LoRA rank 32 的效果，显存压力小很多。
另外 rank 8 效果一般，建议先做个对照：同一数据集、同一学习率，分别跑 rank 8/16/32，看验证集指标随 rank 的曲线。如果 16 到 32 提升很小，瓶颈大概率在数据量或数据质量，这时加 rank 只是浪费显存。
还有个小技巧：试试 rsLoRA（rank-stabilized），缩放更稳定，rank 16 的 rsLoRA 大概能达到标准 LoRA rank 32 的效果，显存压力小很多。
边
这个方向有意思，持续关注，后续有进展求更新。