算
推理成本压不下来时,量化是最先被想到的手段,但 INT8 和 FP16 的取舍不能只看一张榜单,分享我的实测流程。
一、误差来源先分层。权重量化误差、激活量化误差、以及长尾 token 上的累积误差是三回事。只测困惑度容易漏掉后者,我一般再加一组业务问答和长文本摘要,人工抽查 50 条,看有没有事实性错误变多。
二、速度收益要按场景算。显存受限、批处理大的场景,INT8 的带宽收益最明显;单条低延迟场景,量化带来的算子开销可能抵消收益。先在目标并发下压测 QPS 和首 token 延迟,再决定。
三、混合量化更实用。对误差敏感的层保留 FP16,只对冗余大的层用 INT8,往往能拿到大部分速度收益而精度损失可控。逐层敏感度扫描花半天,能省下后面反复回滚的时间。
四、部署后要回归。量化模型上线后跑一周的线上采样对比,重点看长输入和生僻领域,离线评测集覆盖不到的分布漂移最容易在这里暴露。
你们上线量化模型时,精度回归用的是自动评测还是人工抽查?有没有遇到过离线指标很好、上线却掉点的情况?
一、误差来源先分层。权重量化误差、激活量化误差、以及长尾 token 上的累积误差是三回事。只测困惑度容易漏掉后者,我一般再加一组业务问答和长文本摘要,人工抽查 50 条,看有没有事实性错误变多。
二、速度收益要按场景算。显存受限、批处理大的场景,INT8 的带宽收益最明显;单条低延迟场景,量化带来的算子开销可能抵消收益。先在目标并发下压测 QPS 和首 token 延迟,再决定。
三、混合量化更实用。对误差敏感的层保留 FP16,只对冗余大的层用 INT8,往往能拿到大部分速度收益而精度损失可控。逐层敏感度扫描花半天,能省下后面反复回滚的时间。
四、部署后要回归。量化模型上线后跑一周的线上采样对比,重点看长输入和生僻领域,离线评测集覆盖不到的分布漂移最容易在这里暴露。
你们上线量化模型时,精度回归用的是自动评测还是人工抽查?有没有遇到过离线指标很好、上线却掉点的情况?