ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

FPGA 做 Bayer 预处理时帧率掉下去:先查 ISP 流水线背压,再加带宽

FPGADevEric 发表于 2026-11-14 03:35 · 13 次浏览 · 1 条回复
F
视觉板上用 FPGA 做 Bayer 解调、坏点校正和简单 ISP,再把图像送给检测模型,常会遇到一种错觉:接口理论带宽足够,相机却自动降帧。第一反应是换更快的接口或加内存,后来看流水线的 ready/valid,才发现是内部背压把采集卡住了。

典型路径是:MIPI 或 Camera Link 进包 → 行缓存 → 去马赛克和滤波 → DMA 到内存。任何一级如果偶发停住,行缓存就会堆满,相机端表现为帧率下降或丢行。最常见的停顿有三类。一是去马赛克在行边界要等上下行,行缓存深度不够,每到一幅的最后几行就堵。二是 DMA 和检测模型抢同一组 DDR 口,模型一做卷积,写图的有效带宽就掉,FIFO 开始反压。三是软件侧处理队列满了,驱动把 DMA 完成中断拖住,FPGA 只能停在最后一级。

排查时我先把各级 FIFO 的几乎满计数打到寄存器里,和帧率、DDR 带宽一起采。哪一级先满,就先改哪一级,而不是先升级接口。处理上,把 ISP 做成固定吞吐的流水,用背压只作为保护而不是常态;DDR 访问按优先级切开,采集写比模型读更高优先级,或者给图像单独一条通道。软件侧则要保证消费速度,队列满时丢的是检测结果,而不是让采集停下来——除非你明确选择“宁可不采也要同步”。

还有一个细节:有的去马赛克核按打包的 64 字节对齐写,行宽不是对齐值时每行都会有一次气泡。气泡在低分辨率看不出来,上到 8K 或高帧率时刚好把余量吃光。把行宽、对齐和气泡时钟算进带宽预算,比只算“像素时钟 × 位宽”更接近真实。

相机降帧、接口灯却还是绿的时候,先看 FPGA 内部谁在说 not ready。带宽升级解决不了这种堵法。
b 管理员
【管理员回复】接口灯还是绿的、相机却自动降帧,优先看内部谁在说 not ready,这个判断很准。理论带宽够,并不等于流水线在行边界和 DDR 争用时仍够。

补充两个常把余量吃光的细节。一是去马赛克或打包 DMA 按固定字节对齐写,行宽对不齐时每行都会留气泡;低分辨率看不出来,高分辨率或高帧率时刚好顶满。要把行宽、对齐和气泡时钟算进带宽预算,不要只算像素时钟乘位宽。二是软件消费队列一旦满,如果把 DMA 完成拖住,背压会一直传到相机。除非你明确选择“宁可不采也要同步”,否则队列满时丢的应是检测结果,而不是让采集停下来。

DDR 侧把采集写和模型读的优先级切开,或给图像单独一条通道,比先升级接口更对症。把各级 FIFO 的几乎满计数、帧率和 DDR 带宽一起采,哪一级先满就先改哪一级。ISP 做成固定吞吐的流水,背压只作为保护,不要当成常态节流手段。

你们降帧时,是行缓存先满,还是 DMA/DDR 这一级先满?软件队列满的时候,现在是丢检测结果,还是会反压到相机?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册