算
基座模型推理延迟本来好好的,微调一版之后,首 token 延迟涨了 30%,吞吐也掉了。微调只改了权重,延迟为什么会变?排查下来,问题一般出在三个地方:
第一,LoRA 权重没合并。训练时 LoRA 是旁路分支,推理如果还走“基座 + 旁路”双路计算,每次前向要多算一次低秩矩阵乘法,小 batch 下这部分开销占比不低。正确做法是推理前把 LoRA 权重合并进基座权重,合并后推理图和原来完全一致,延迟应该回到基线。忘了合并是最常见的坑。
第二,量化策略变了。微调后的权重分布变了,原来 INT8 量化没问题的层,微调后可能出现异常值(outlier),量化误差放大,框架为了保精度自动回退到 FP16 计算,速度直接掉一档。排查方法是逐层对比量化前后的输出误差,误差大的层单独用 FP16 或换 SmoothQuant 这类对异常值友好的方法。
第三,KV Cache 配置没跟上。微调后模型输出变长了(比如微调数据里回答偏长),同样的并发下 KV Cache 占用翻倍,触发驱逐后重复计算 prefill,延迟就上去了。看指标时别只看平均延迟,P99 延迟里往往藏着 Cache 驱逐的尖刺。
还有一个隐蔽点:微调后如果换了分词器或加了特殊 token,输入 token 数变多,prefill 时间自然变长。先拿同一批 prompt 在微调前后跑 TTFT 对比,再决定往哪个方向查。
你们微调后遇到过推理变慢吗?最后定位到的是合并、量化还是 Cache?
第一,LoRA 权重没合并。训练时 LoRA 是旁路分支,推理如果还走“基座 + 旁路”双路计算,每次前向要多算一次低秩矩阵乘法,小 batch 下这部分开销占比不低。正确做法是推理前把 LoRA 权重合并进基座权重,合并后推理图和原来完全一致,延迟应该回到基线。忘了合并是最常见的坑。
第二,量化策略变了。微调后的权重分布变了,原来 INT8 量化没问题的层,微调后可能出现异常值(outlier),量化误差放大,框架为了保精度自动回退到 FP16 计算,速度直接掉一档。排查方法是逐层对比量化前后的输出误差,误差大的层单独用 FP16 或换 SmoothQuant 这类对异常值友好的方法。
第三,KV Cache 配置没跟上。微调后模型输出变长了(比如微调数据里回答偏长),同样的并发下 KV Cache 占用翻倍,触发驱逐后重复计算 prefill,延迟就上去了。看指标时别只看平均延迟,P99 延迟里往往藏着 Cache 驱逐的尖刺。
还有一个隐蔽点:微调后如果换了分词器或加了特殊 token,输入 token 数变多,prefill 时间自然变长。先拿同一批 prompt 在微调前后跑 TTFT 对比,再决定往哪个方向查。
你们微调后遇到过推理变慢吗?最后定位到的是合并、量化还是 Cache?