ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

多路 MIPI 相机汇到一块 FPGA:通道对齐失败时先查时钟域,再怪镜头

FPGADevEric 发表于 2026-11-14 03:42 · 16 次浏览 · 2 条回复
F
多相机视觉里,常把几路 MIPI 接到同一块 FPGA 做汇聚、打时间戳再送给模型。画面看起来有一路偶尔错位或花屏,光学同事先去查镜头和模组,后来发现是 FPGA 里各路字对齐和时钟域没处理好,模组其实是好的。

每路 MIPI D-PHY 有自己的字节时钟,从高速串行恢复出来后,必须在一个共同的像素时钟或帧时钟下对齐。如果只用异步 FIFO 把各路“大概攒齐”,帧起始检测一旦在某路上多丢或少丢一个短包,这路就会相对其他路偏一整行甚至整帧。表现是:单路预览正常,多路一起跑才错位;温度一高,偏斜更明显。这和镜头畸变、安装松动完全不是一类曲线。

建议按这三步查。第一,每路单独看 soT/EoT、CRC 和字对齐失锁计数,失锁的那路先查走线长度、等长和参考地,不要先调 ISP。第二,汇聚前给每路打上帧号和恢复时钟的时间戳,在同步点比较帧号是否连续、时间戳差是否在预算内。第三,共用触发时,确认各路都从同一触发沿开始新帧,而不是有的路还在输出上一帧的尾巴。有的模组在触发后会多吐一行包,FIFO 深度按标称帧长来刚好会溢。

时钟树上也要干净。用同一参考扇出给各路再本地恢复,比每路各用各的自由时钟更容易做帧同步。参考本身抖动大时,会表现为随机花屏而不是固定偏一行。这类问题用 ILA 看对齐状态,比看图像“像不像对焦不准”更快。

如果只有一路高频失锁,还可以把该路的线长、过孔和邻层干扰单独拿出来对照,不要四路一起重做等长。先修失锁,再谈软件里的软件同步补偿,否则补偿会把硬件错误变成漂浮的时间偏置。

多路画面错位,先把 MIPI 对齐、帧号和时钟域对完。光学问题会在单路里也能复现;只在汇聚后出现的,优先留在 FPGA 侧查。
b 管理员
【管理员回复】“单路预览正常,多路一起跑才错位,温度高更明显”,这个曲线本身就偏向时钟域和字对齐,而不是镜头或安装松动。光学问题通常在单路里也能复现。

除了楼主说的失锁计数、帧号和时间戳,建议再核三件事。一是各路 MIPI 从同一参考扇出再本地恢复,而不是各用各的自由时钟;参考抖动大时,表现为随机花屏,不是固定偏一行。二是共用触发时,确认每路都从同一沿开始新帧,有的模组触发后会多吐一行包,FIFO 按标称帧长刚好会溢。三是只对高频失锁的那一路单独查线长、过孔和邻层干扰,不要四路一起重做等长。

用 ILA 看帧起始、字对齐和触发沿的相对位置,通常比看图像“像不像对焦不准”更快。先把失锁修好,再谈软件同步补偿,否则补偿会把硬件错误变成漂浮的时间偏置。虚拟通道、数据类型混送时,也要确认对齐状态机没有把短包和帧起始搞混。

你们汇聚后对不齐的那几次,失锁计数是集中在某一路,还是四路一起漂?有没有把每路帧号差和时间戳差记下来?
A
“单路预览正常、多路汇聚才错位”,这个现象我们在 ARM SoC + FPGA 的视觉前端上也遇到过,而且最后确实是时钟域和帧对齐,不是镜头。管理员说的先看失锁计数、再谈软件补偿,我完全同意,再补主机侧容易把问题掩盖住的几处。

FPGA 把多路 MIPI 汇齐后,通常会通过 PCIe 或 CSI 送给 Linux。如果驱动只按“缓冲区到达顺序”给帧编号,某一路 FIFO 多吐一行或少一个短包时,用户态会把不同时刻的画面拼成同一帧,看起来像光学校准漂了。我们要求 FPGA 在每一路的帧头里写下帧号、恢复时钟时间戳和触发沿计数,内核在 dmabuf/metadata 里原样带给应用,软件同步只做一致性检查,不在这里“估一个偏移”去补硬件失锁。

时钟上,各路应从同一参考扇出再本地恢复;参考抖动大时是随机花屏,固定偏一行更像字对齐或帧起始多检/漏检。虚拟通道或数据类型混送时,对齐状态机尤其容易把短包和帧起始搞混,所以 soT/EoT、CRC 和字对齐失锁要分路计数。只有一路高频失锁,就单独查那一路的线长、过孔和邻层,不要四路一起重做等长。

还有一个 Linux 侧的坑:ISP 或 v4l2 管道若开了逐路独立流,没有用同一硬件帧同步去开启 DMA,温度升高后各路 PLL 漂移会在软件里慢慢攒成整帧偏差。先把 FPGA 侧对齐和失锁修好,软件补偿只处理已知的电缆/触发延迟预算,不要用它去追一个还在失锁的通道。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册