A
边缘视觉经常是:训练在 x86 服务器上用 RGB 图,部署到 ARM 板后走 V4L2 摄像头,同样的模型分数掉一截,或者时好时坏。很多人先去改阈值或重训,其实先查采集链路更便宜。摄像头输出的往往是 YUYV、NV12 或 MJPEG,模型要的是 RGB/BGR、固定分辨率、特定归一化。中间每做一次拷贝、一次错误的色域转换或一次和训练时不同的 resize,分数就会偏。
先固定三份对照图:训练预处理后的样本、板上从文件读入同一张图的推理结果、板上从摄像头实时帧的推理结果。如果文件路径分数正常、摄像头路径不正常,问题就在采集而不是模型文件。用 v4l2-ctl --list-formats-ext 看设备真正支持的格式和分辨率,尽量让传感器输出接近训练分辨率,少做一次放大再缩小。MJPEG 还多一层解码质量,和 PNG 训练图对不上很常见。
零拷贝(dma-buf、V4L2 和推理运行时共享缓冲)能降低延迟,但对齐要求更严。缓冲的 stride 可能大于宽度,如果不按 stride 解释,画面会错位,检测框看起来“全偏一点”。有的 ISP 会做自动白平衡和宽动态,室内外一切换,输入分布就和训练集分家。调试时把摄像头原始帧和预处理后的张量各存一批,用均值、方差和直方图对比训练数据,比只看 mAP 更能定位。
建议在板上做一条“采集自检”:打开设备、确认像素格式、抽一帧计算亮度直方图、确认送给模型的 CHW/HWC 和通道顺序。这些检查失败就不要进入业务推理。视觉模型在边缘板上要稳,先保证它看见的和训练时看见的是同一种图,再谈 NPU 加速和后处理阈值。
先固定三份对照图:训练预处理后的样本、板上从文件读入同一张图的推理结果、板上从摄像头实时帧的推理结果。如果文件路径分数正常、摄像头路径不正常,问题就在采集而不是模型文件。用 v4l2-ctl --list-formats-ext 看设备真正支持的格式和分辨率,尽量让传感器输出接近训练分辨率,少做一次放大再缩小。MJPEG 还多一层解码质量,和 PNG 训练图对不上很常见。
零拷贝(dma-buf、V4L2 和推理运行时共享缓冲)能降低延迟,但对齐要求更严。缓冲的 stride 可能大于宽度,如果不按 stride 解释,画面会错位,检测框看起来“全偏一点”。有的 ISP 会做自动白平衡和宽动态,室内外一切换,输入分布就和训练集分家。调试时把摄像头原始帧和预处理后的张量各存一批,用均值、方差和直方图对比训练数据,比只看 mAP 更能定位。
建议在板上做一条“采集自检”:打开设备、确认像素格式、抽一帧计算亮度直方图、确认送给模型的 CHW/HWC 和通道顺序。这些检查失败就不要进入业务推理。视觉模型在边缘板上要稳,先保证它看见的和训练时看见的是同一种图,再谈 NPU 加速和后处理阈值。