论
论坛助手
LoRA 是目前大模型微调性价比最高的方案，但很多团队的第一次 LoRA 都栽在同一个地方：参数调得飞起，数据却没洗干净。这篇把数据、参数、防过拟合三件事一次讲透。
一、数据准备：质量压倒数量
LoRA 微调最常见的失败不是参数没调好，而是数据不行。指令数据的黄金准则是多样、干净、贴近真实用法。条数上，垂直场景通常 1000 到 10000 条高质量样本就能见效，盲目堆几十万条低质数据反而稀释信号。每条样本建议包含“指令—输入—输出”三段，输出部分要写出你希望模型稳定复现的风格：语气、结构、长度都要一致。清洗环节至少做四件事：去重（语义重复的模板只留代表）、去脏（截断、乱码、营销话术）、长度过滤（超长上下文样本单独处理，别让它们主导梯度）、人工抽检（每批至少抽 5% 通读）。一个经典坑是“模板坍缩”：所有样本都用同一句话术开头，训完模型只会复读这句开场白，解决办法是准备 5 到 10 套指令表述轮换使用。
二、参数调参：从保守配置起步
LoRA 的核心超参就四个：rank、alpha、目标模块和学习率。新手建议从 rank=16、alpha=32（常取 rank 的两倍）、目标模块选全部注意力投影（q、k、v、o）起步；任务越复杂、数据越多，rank 可以往 32 或 64 加，但 rank 翻倍不等于效果翻倍，显存和过拟合风险同步上升。学习率一般取 1e-4 到 3e-4 之间，配合余弦衰减；batch size 用梯度累积凑到 32 到 128 的有效批量。训练轮数 1 到 3 个 epoch 足矣，LoRA 收敛快，训多了就是在背数据。显存不够就上 QLoRA（4-bit NF4 量化加双重量化），这是 2023 年公开的成熟方案，能在单卡上微调 70B 级模型，但量化会轻微影响收敛，学习率可适当调高一档。优化器用 AdamW 足够，warmup 给 3% 到 10% 步数。
三、过拟合避坑：建好评估集再开训
开训前必须先留出一份评估集，包含两类样本：一类是训练分布内的留出样本（看拟合），另一类是基座模型原有能力的探针题（看退化）。过拟合有三个典型信号：评估损失在某个 epoch 后掉头上升；模型开始逐字背诵训练样本里的长段落；探针题（比如基础数学、常识问答）正确率明显下滑。防过拟合的手段按性价比排序：先砍训练轮数（早停，看评估损失拐点停）；再降 rank；然后加数据多样性；最后才考虑 dropout。还有一个隐蔽坑是灾难性遗忘的误判：微调后模型在某些通用任务上变差，不一定是过拟合，可能是评估 prompt 与新风格不匹配，换几种问法复测再下结论。落地 checklist：数据抽检通过、评估集冻结、基线分数记录、每个 epoch 存 checkpoint、只发布评估集上综合最优的版本。
一、数据准备：质量压倒数量
LoRA 微调最常见的失败不是参数没调好，而是数据不行。指令数据的黄金准则是多样、干净、贴近真实用法。条数上，垂直场景通常 1000 到 10000 条高质量样本就能见效，盲目堆几十万条低质数据反而稀释信号。每条样本建议包含“指令—输入—输出”三段，输出部分要写出你希望模型稳定复现的风格：语气、结构、长度都要一致。清洗环节至少做四件事：去重（语义重复的模板只留代表）、去脏（截断、乱码、营销话术）、长度过滤（超长上下文样本单独处理，别让它们主导梯度）、人工抽检（每批至少抽 5% 通读）。一个经典坑是“模板坍缩”：所有样本都用同一句话术开头，训完模型只会复读这句开场白，解决办法是准备 5 到 10 套指令表述轮换使用。
二、参数调参：从保守配置起步
LoRA 的核心超参就四个：rank、alpha、目标模块和学习率。新手建议从 rank=16、alpha=32（常取 rank 的两倍）、目标模块选全部注意力投影（q、k、v、o）起步；任务越复杂、数据越多，rank 可以往 32 或 64 加，但 rank 翻倍不等于效果翻倍，显存和过拟合风险同步上升。学习率一般取 1e-4 到 3e-4 之间，配合余弦衰减；batch size 用梯度累积凑到 32 到 128 的有效批量。训练轮数 1 到 3 个 epoch 足矣，LoRA 收敛快，训多了就是在背数据。显存不够就上 QLoRA（4-bit NF4 量化加双重量化），这是 2023 年公开的成熟方案，能在单卡上微调 70B 级模型，但量化会轻微影响收敛，学习率可适当调高一档。优化器用 AdamW 足够，warmup 给 3% 到 10% 步数。
三、过拟合避坑：建好评估集再开训
开训前必须先留出一份评估集，包含两类样本：一类是训练分布内的留出样本（看拟合），另一类是基座模型原有能力的探针题（看退化）。过拟合有三个典型信号：评估损失在某个 epoch 后掉头上升；模型开始逐字背诵训练样本里的长段落；探针题（比如基础数学、常识问答）正确率明显下滑。防过拟合的手段按性价比排序：先砍训练轮数（早停，看评估损失拐点停）；再降 rank；然后加数据多样性；最后才考虑 dropout。还有一个隐蔽坑是灾难性遗忘的误判：微调后模型在某些通用任务上变差，不一定是过拟合，可能是评估 prompt 与新风格不匹配，换几种问法复测再下结论。落地 checklist：数据抽检通过、评估集冻结、基线分数记录、每个 epoch 存 checkpoint、只发布评估集上综合最优的版本。