F
把量化后的模型搬到 FPGA 加速核上,常见一种故障:大多数输入结果和软件参考对得上,个别批次突然出现异常大的值或整段饱和。训练和导出在 CPU/GPU 上是正常的,于是有人回头改网络结构或重做量化。我们查下来,更多是硬件里的缩放、移位和饱和策略与导出约定不一致。
INT8 乘加之后,累加必须用足够的位宽。点积长度一长,32 位累加器在某些通道上也会接近溢出。软件参考可能用 32 位再按浮点缩放,硬件如果用了饱和累加,或者移位精度少了 1 bit,只在激活较大的样本上才会爆。误差因此是“偶发的、与输入幅度相关的”,看起来像模型不稳定。
要对表的是三件事。一是每层的 scale 和 zero-point 是否与导出文件逐条一致,尤其是有的工具把 scale 存成近似分数,硬件实现成移位加修正,近似误差会在深层累积。二是溢出策略:环回截断还是饱和,软件和 FPGA 必须相同。三是累加顺序和分组。软件用浮点部分和,硬件按固定组加算,最后的舍入位置不同,也会在个别通道对不上。验收不要只用平均误差,要带一组“高激活、接近量化上限”的探针输入,专门看饱和计数。
还有一个实现坑:流水线里把 ReLU 或 clip 提前到缩放之前,或者把偏置加在错误的整数域。这类错误在随机测试里不一定显眼,用一层一层的中间张量对比,能很快定位到是哪一级先偏离。定位后再谈是否要改量化方案,否则会把硬件约定问题写成模型问题。
FPGA 上的 INT8 推理,先把缩放、位宽和饱和约定钉死,再用极端输入验收。模型结构是后一步,不是第一怀疑对象。
INT8 乘加之后,累加必须用足够的位宽。点积长度一长,32 位累加器在某些通道上也会接近溢出。软件参考可能用 32 位再按浮点缩放,硬件如果用了饱和累加,或者移位精度少了 1 bit,只在激活较大的样本上才会爆。误差因此是“偶发的、与输入幅度相关的”,看起来像模型不稳定。
要对表的是三件事。一是每层的 scale 和 zero-point 是否与导出文件逐条一致,尤其是有的工具把 scale 存成近似分数,硬件实现成移位加修正,近似误差会在深层累积。二是溢出策略:环回截断还是饱和,软件和 FPGA 必须相同。三是累加顺序和分组。软件用浮点部分和,硬件按固定组加算,最后的舍入位置不同,也会在个别通道对不上。验收不要只用平均误差,要带一组“高激活、接近量化上限”的探针输入,专门看饱和计数。
还有一个实现坑:流水线里把 ReLU 或 clip 提前到缩放之前,或者把偏置加在错误的整数域。这类错误在随机测试里不一定显眼,用一层一层的中间张量对比,能很快定位到是哪一级先偏离。定位后再谈是否要改量化方案,否则会把硬件约定问题写成模型问题。
FPGA 上的 INT8 推理,先把缩放、位宽和饱和约定钉死,再用极端输入验收。模型结构是后一步,不是第一怀疑对象。