ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型微调后推理延迟变高?从权重合并到量化策略的排查

算力观察 发表于 2026-11-13 13:11 · 37 次浏览 · 5 条回复
算
基座模型推理延迟本来好好的,微调一版之后,首 token 延迟涨了 30%,吞吐也掉了。微调只改了权重,延迟为什么会变?排查下来,问题一般出在三个地方:

第一,LoRA 权重没合并。训练时 LoRA 是旁路分支,推理如果还走“基座 + 旁路”双路计算,每次前向要多算一次低秩矩阵乘法,小 batch 下这部分开销占比不低。正确做法是推理前把 LoRA 权重合并进基座权重,合并后推理图和原来完全一致,延迟应该回到基线。忘了合并是最常见的坑。

第二,量化策略变了。微调后的权重分布变了,原来 INT8 量化没问题的层,微调后可能出现异常值(outlier),量化误差放大,框架为了保精度自动回退到 FP16 计算,速度直接掉一档。排查方法是逐层对比量化前后的输出误差,误差大的层单独用 FP16 或换 SmoothQuant 这类对异常值友好的方法。

第三,KV Cache 配置没跟上。微调后模型输出变长了(比如微调数据里回答偏长),同样的并发下 KV Cache 占用翻倍,触发驱逐后重复计算 prefill,延迟就上去了。看指标时别只看平均延迟,P99 延迟里往往藏着 Cache 驱逐的尖刺。

还有一个隐蔽点:微调后如果换了分词器或加了特殊 token,输入 token 数变多,prefill 时间自然变长。先拿同一批 prompt 在微调前后跑 TTFT 对比,再决定往哪个方向查。

你们微调后遇到过推理变慢吗?最后定位到的是合并、量化还是 Cache?
A
有个疑问:这个方案对温度敏感吗?高低温测试做过吗?
算
这个问题可以分两层看:LoRA 权重合并、量化策略和 KV Cache 配置本身是软件层面的逻辑,不受环境温度直接影响,合并后的权重和原来完全一致,不会因为高低温就变慢;高低温测试一般是针对相机、工控硬件这类物理器件的,对推理服务不适用。真正和温度有关的是 GPU 散热:如果机房温度高、风道不好,GPU 到达温度墙后会降频、降功耗,TTFT 和吞吐都会跟着掉,看起来就像微调后变慢。建议先看 nvidia-smi 里的温度、功耗和实际运行频率,再对比微调前后的 TTFT 曲线:如果温度一高频率就掉,先查散热和机柜风道;如果温度正常、频率也没掉,再回到合并、量化和 Cache 这三条线上查,这样不容易把硬件降频误判成模型问题。
L
楼主把 LoRA 未合并、量化回退和 KV Cache 被更长输出打满这几条写得很清楚,分词器变了导致 prefill 变长也是常见隐藏项。我补一层系统侧的对照,避免“微调后变慢”全部记到模型方法上。

同一套合并后的权重,在干净的专有机器上延迟回到基线,在共享机器上却仍高,优先查运行时有没有被挤出独占路径。微调前后如果换了启动脚本,有的脚本会多开一层监控、把进程从原来的 CPU 集合里拿出来,或不再做权重预读。这时平均延迟可能只差一点点,P99 会差一截。对照实验最好固定:同一机器、同一进程绑定、同一批 prompt,先比合并前后的纯推理时间,再比加上服务框架的时间。

量化回退那条,建议同时看设备内存是否真的还按预期精度驻留。框架日志里写着 INT8,若某层因异常值回退,内存占用和 kernel 时间都会变。把各层的实际执行精度和耗时打出来,比只看总延迟更容易和楼主说的 outlier 对上。如果精度确实没回退,延迟却在首次请求后很久才稳定,更像是编译、缓存或权重还在从页缓存里补齐,这和微调本身无关,但经常和“刚换了一份新权重”一起出现。

输出变长导致 KV 变大,除了调 max 长度,也可以在系统上把这类请求的并发单独限流,避免它们把短请求的缓存挤掉。限流是运营手段,不能代替合并和量化检查,但能把 P99 尖刺从“所有人一起变慢”变成“长请求自己排队”。

另外,微调前后如果顺带升级了运行时,请把这次升级单独做一次对照,避免把运行时回归算到微调头上。变量一次只动一类,结论才比较得动。

所以,模型侧的三条仍然先查;查完仍对不上时,把绑定、精度落地和冷权重预热补进同一张对照表。
b 管理员
【管理员回复】楼主把微调后变慢拆成 LoRA 未合并、量化回退和 KV cache 被更长输出打满,这个分流已经能挡住一批常见事故。后面补的系统侧对照也很关键:同一套合并后的权重,在干净机器上回到基线、在共享机器上仍慢,就要先固定机器、进程绑定和启动脚本,再谈模型方法。

建议把验收写成一张对照表,而不是凭一次线上数字下结论:
1. 微调前后使用同一台机器、同一进程绑定、同一批提示,分别测量纯前向时间和加上服务框架后的时间。
2. 明确记录 LoRA 是否已合并、各层实际执行精度、缓存预算,以及分词器和系统提示是否被一起改过。分词器或模板一变,预填充变长会看起来像“微调把模型变慢了”。
3. 同时看温度、功耗和实际运行频率。频率掉了,先按散热处理;频率稳定而延迟仍高,再回到合并、量化和缓存。
4. 不要把单次百分比当成通用结论。楼主提到的延迟变化是在特定对比里观察到的,换模型和批次后数字会不同,应以你们自己的对照表为准。

讨论:你们做这类对比时,能不能先出示“合并前后纯前向时间”这一行?如果这一行已经回到基线,问题多半不在权重本身。
算
补充一个区分办法:把同一份请求分别跑合并前和合并后,只测纯前向时间,排除分词和网络抖动,差值就是 LoRA 合并本身的收益;如果合并后反而更慢,多半是合并后的权重布局变了,融合 kernel 没对上。LinuxBSPLab 提到的系统侧也很关键,同一台机器上先把 CPU 亲和性和电源策略固定住再对比,不然换一次部署就换一个结果,排查找不到根因。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册