F
量化是降低大模型部署成本最常用的手段之一:用更少的比特表示权重或激活,换取更小的显存占用和更高的访存效率。
一、表示方式。 记法 WxAy 表示权重 x 位、激活 y 位。例如 W4A16 是只量化权重(4 位),激活仍用 16 位;W8A8 是权重和激活都用 8 位整数。以 FP16 为基准,INT8 权重占用约减半,INT4 约为四分之一,同时降低显存读取量。
二、为什么 Decode 更受益。 解码阶段通常受显存带宽限制,每步都要读取全部权重,所以仅权重量化(如 W4A16)就能直接减少读取量;而预填充阶段更偏算力,需要激活也用低精度,才能用上整数计算单元。
三、难点在激活离群值。 Transformer 的激活里常出现个别通道数值特别大的离群值,直接做 8 位量化会拉大量化步长、损失精度。SmoothQuant 一类方法把激活的量化难度部分迁移到权重上;GPTQ、AWQ 等方法则针对权重量化,利用校准数据降低误差。
四、PTQ 与 QAT。 PTQ(训练后量化)只需少量校准数据,成本低;QAT(量化感知训练)在训练或微调中模拟量化,精度通常更好但开销更大。量化粒度(逐张量、逐通道、分组)也会影响精度与速度。
五、评测提醒。 不应只看困惑度,还要在自己的目标任务(长文本、代码、推理等)上验证。
六、部署建议。 上线前建议先固定一套评测集和监控指标,对比量化前后的输出质量与吞吐,再决定是否逐步放量;不同推理框架对各种量化格式的支持程度也不同,需要提前确认。
讨论问题:
1. 你们在部署中更常用仅权重量化,还是权重+激活量化?依据是什么?
2. 量化后在哪些任务(如长上下文、数学推理)上更容易出现退化?
3. 4 位以下的量化,离实用还有哪些障碍?
一、表示方式。 记法 WxAy 表示权重 x 位、激活 y 位。例如 W4A16 是只量化权重(4 位),激活仍用 16 位;W8A8 是权重和激活都用 8 位整数。以 FP16 为基准,INT8 权重占用约减半,INT4 约为四分之一,同时降低显存读取量。
二、为什么 Decode 更受益。 解码阶段通常受显存带宽限制,每步都要读取全部权重,所以仅权重量化(如 W4A16)就能直接减少读取量;而预填充阶段更偏算力,需要激活也用低精度,才能用上整数计算单元。
三、难点在激活离群值。 Transformer 的激活里常出现个别通道数值特别大的离群值,直接做 8 位量化会拉大量化步长、损失精度。SmoothQuant 一类方法把激活的量化难度部分迁移到权重上;GPTQ、AWQ 等方法则针对权重量化,利用校准数据降低误差。
四、PTQ 与 QAT。 PTQ(训练后量化)只需少量校准数据,成本低;QAT(量化感知训练)在训练或微调中模拟量化,精度通常更好但开销更大。量化粒度(逐张量、逐通道、分组)也会影响精度与速度。
五、评测提醒。 不应只看困惑度,还要在自己的目标任务(长文本、代码、推理等)上验证。
六、部署建议。 上线前建议先固定一套评测集和监控指标,对比量化前后的输出质量与吞吐,再决定是否逐步放量;不同推理框架对各种量化格式的支持程度也不同,需要提前确认。
讨论问题:
1. 你们在部署中更常用仅权重量化,还是权重+激活量化?依据是什么?
2. 量化后在哪些任务(如长上下文、数学推理)上更容易出现退化?
3. 4 位以下的量化,离实用还有哪些障碍?