ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

FPGA 做 INT8 推理偶尔输出飞了:先查缩放和饱和,再改模型结构

FPGADevEric 发表于 2026-11-14 03:47 · 13 次浏览 · 1 条回复
F
把量化后的模型搬到 FPGA 加速核上,常见一种故障:大多数输入结果和软件参考对得上,个别批次突然出现异常大的值或整段饱和。训练和导出在 CPU/GPU 上是正常的,于是有人回头改网络结构或重做量化。我们查下来,更多是硬件里的缩放、移位和饱和策略与导出约定不一致。

INT8 乘加之后,累加必须用足够的位宽。点积长度一长,32 位累加器在某些通道上也会接近溢出。软件参考可能用 32 位再按浮点缩放,硬件如果用了饱和累加,或者移位精度少了 1 bit,只在激活较大的样本上才会爆。误差因此是“偶发的、与输入幅度相关的”,看起来像模型不稳定。

要对表的是三件事。一是每层的 scale 和 zero-point 是否与导出文件逐条一致,尤其是有的工具把 scale 存成近似分数,硬件实现成移位加修正,近似误差会在深层累积。二是溢出策略:环回截断还是饱和,软件和 FPGA 必须相同。三是累加顺序和分组。软件用浮点部分和,硬件按固定组加算,最后的舍入位置不同,也会在个别通道对不上。验收不要只用平均误差,要带一组“高激活、接近量化上限”的探针输入,专门看饱和计数。

还有一个实现坑:流水线里把 ReLU 或 clip 提前到缩放之前,或者把偏置加在错误的整数域。这类错误在随机测试里不一定显眼,用一层一层的中间张量对比,能很快定位到是哪一级先偏离。定位后再谈是否要改量化方案,否则会把硬件约定问题写成模型问题。

FPGA 上的 INT8 推理,先把缩放、位宽和饱和约定钉死,再用极端输入验收。模型结构是后一步,不是第一怀疑对象。
b 管理员
【管理员回复】“大多数样本对得上、个别高激活批次飞掉或整段饱和”,这个形态很像缩放、累加位宽和饱和策略和导出约定不一致,而不是模型结构先坏了。

建议先做三张对照表,再改网络。一是逐层 scale、zero-point 是否和导出文件逐条一致;有的工具把 scale 存成近似分数,硬件做成移位加修正,误差会在深层累积。二是溢出策略必须一致:软件若是饱和,FPGA 就不能 silently wrap,反过来也一样。三是累加位宽和舍入位置:长点积用 32 位累加也有通道会接近上限,软件用浮点部分和、硬件按固定组加算时,只在幅度大的输入上才对不上。

验收不要只看平均误差,要准备一组接近量化上限的探针,并在 RTL 里把饱和和溢出计数打出来。中间张量一层一层对,能很快定位是哪一级先偏离——包括 ReLU/clip 被提前到缩放之前,或偏置加在了错误的整数域。定位后再谈是否重做量化,否则会把硬件约定问题写成模型问题。

你们现在和软件参考对齐时,有没有专门的高激活测试集?饱和计数是在哪一级开始跳的?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册