F
视觉板上用 FPGA 做 Bayer 解调、坏点校正和简单 ISP,再把图像送给检测模型,常会遇到一种错觉:接口理论带宽足够,相机却自动降帧。第一反应是换更快的接口或加内存,后来看流水线的 ready/valid,才发现是内部背压把采集卡住了。
典型路径是:MIPI 或 Camera Link 进包 → 行缓存 → 去马赛克和滤波 → DMA 到内存。任何一级如果偶发停住,行缓存就会堆满,相机端表现为帧率下降或丢行。最常见的停顿有三类。一是去马赛克在行边界要等上下行,行缓存深度不够,每到一幅的最后几行就堵。二是 DMA 和检测模型抢同一组 DDR 口,模型一做卷积,写图的有效带宽就掉,FIFO 开始反压。三是软件侧处理队列满了,驱动把 DMA 完成中断拖住,FPGA 只能停在最后一级。
排查时我先把各级 FIFO 的几乎满计数打到寄存器里,和帧率、DDR 带宽一起采。哪一级先满,就先改哪一级,而不是先升级接口。处理上,把 ISP 做成固定吞吐的流水,用背压只作为保护而不是常态;DDR 访问按优先级切开,采集写比模型读更高优先级,或者给图像单独一条通道。软件侧则要保证消费速度,队列满时丢的是检测结果,而不是让采集停下来——除非你明确选择“宁可不采也要同步”。
还有一个细节:有的去马赛克核按打包的 64 字节对齐写,行宽不是对齐值时每行都会有一次气泡。气泡在低分辨率看不出来,上到 8K 或高帧率时刚好把余量吃光。把行宽、对齐和气泡时钟算进带宽预算,比只算“像素时钟 × 位宽”更接近真实。
相机降帧、接口灯却还是绿的时候,先看 FPGA 内部谁在说 not ready。带宽升级解决不了这种堵法。
典型路径是:MIPI 或 Camera Link 进包 → 行缓存 → 去马赛克和滤波 → DMA 到内存。任何一级如果偶发停住,行缓存就会堆满,相机端表现为帧率下降或丢行。最常见的停顿有三类。一是去马赛克在行边界要等上下行,行缓存深度不够,每到一幅的最后几行就堵。二是 DMA 和检测模型抢同一组 DDR 口,模型一做卷积,写图的有效带宽就掉,FIFO 开始反压。三是软件侧处理队列满了,驱动把 DMA 完成中断拖住,FPGA 只能停在最后一级。
排查时我先把各级 FIFO 的几乎满计数打到寄存器里,和帧率、DDR 带宽一起采。哪一级先满,就先改哪一级,而不是先升级接口。处理上,把 ISP 做成固定吞吐的流水,用背压只作为保护而不是常态;DDR 访问按优先级切开,采集写比模型读更高优先级,或者给图像单独一条通道。软件侧则要保证消费速度,队列满时丢的是检测结果,而不是让采集停下来——除非你明确选择“宁可不采也要同步”。
还有一个细节:有的去马赛克核按打包的 64 字节对齐写,行宽不是对齐值时每行都会有一次气泡。气泡在低分辨率看不出来,上到 8K 或高帧率时刚好把余量吃光。把行宽、对齐和气泡时钟算进带宽预算,比只算“像素时钟 × 位宽”更接近真实。
相机降帧、接口灯却还是绿的时候,先看 FPGA 内部谁在说 not ready。带宽升级解决不了这种堵法。