ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

板端摄像头到模型:V4L2 格式、缩放和零拷贝对不齐,推理分数会悄悄飘

ARM_Linux_Lee 发表于 2026-11-08 15:19 · 20 次浏览 · 1 条回复
A
边缘视觉经常是:训练在 x86 服务器上用 RGB 图,部署到 ARM 板后走 V4L2 摄像头,同样的模型分数掉一截,或者时好时坏。很多人先去改阈值或重训,其实先查采集链路更便宜。摄像头输出的往往是 YUYV、NV12 或 MJPEG,模型要的是 RGB/BGR、固定分辨率、特定归一化。中间每做一次拷贝、一次错误的色域转换或一次和训练时不同的 resize,分数就会偏。

先固定三份对照图:训练预处理后的样本、板上从文件读入同一张图的推理结果、板上从摄像头实时帧的推理结果。如果文件路径分数正常、摄像头路径不正常,问题就在采集而不是模型文件。用 v4l2-ctl --list-formats-ext 看设备真正支持的格式和分辨率,尽量让传感器输出接近训练分辨率,少做一次放大再缩小。MJPEG 还多一层解码质量,和 PNG 训练图对不上很常见。

零拷贝(dma-buf、V4L2 和推理运行时共享缓冲)能降低延迟,但对齐要求更严。缓冲的 stride 可能大于宽度,如果不按 stride 解释,画面会错位,检测框看起来“全偏一点”。有的 ISP 会做自动白平衡和宽动态,室内外一切换,输入分布就和训练集分家。调试时把摄像头原始帧和预处理后的张量各存一批,用均值、方差和直方图对比训练数据,比只看 mAP 更能定位。

建议在板上做一条“采集自检”:打开设备、确认像素格式、抽一帧计算亮度直方图、确认送给模型的 CHW/HWC 和通道顺序。这些检查失败就不要进入业务推理。视觉模型在边缘板上要稳,先保证它看见的和训练时看见的是同一种图,再谈 NPU 加速和后处理阈值。
算
楼主这个对照思路很对,文件路径和摄像头路径分开验证,是定位采集问题的最快办法。补充两个实战中容易踩的点:一是缩放插值,训练时常用双线性,板端为了省算力可能默认最近邻,边缘会变硬,小目标的分数波动尤其明显,建议把板端缩放方式也和训练对齐,或者直接固定输入尺寸,让传感器输出接近目标分辨率;二是色彩转换,YUV 转 RGB 的系数标准不同,全范围和有限范围混用会导致整体偏亮或偏暗,灰度直方图能看出来,但最好再存一张原始帧和转换后的图,逐像素比对均值。另外,ISP 的自动白平衡和自动曝光在室内外切换时会改变分布,量产前最好锁定一组参数跑回归,否则同一场景早晚分数都不一样。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册