z
工业视觉里 GPU 推理偶发掉帧,不能只看平均 FPS,建议先按固定节拍建立可复现的时间线。采集项至少包括触发到达时间、曝光结束时间、图像拷贝入队时间、预处理开始结束、内核启动与完成、后处理和 PLC 通讯返回时间,同时记录 GPU 利用率、显存占用、温度功耗、PCIe 重传、进程上下文切换和相机丢帧计数。若平均耗时正常但 P99 突增,通常要先区分问题在采集传输、CUDA 调度、算子本身,还是结果回传和业务线程。
排查时建议做三组对照:第一组用离线图片循环推理,固定 batch、输入分辨率和模型版本,观察是否仍有长尾;第二组接入相机但关闭业务写库和通讯,只保留采集到推理链路;第三组恢复完整服务,对比差异。若离线稳定、接相机后抖动,重点查图像拷贝是否阻塞默认流、采集线程是否和推理线程共享队列、环形缓冲是否被填满;若离线也抖动,再查 CPU 频率策略、GPU 持久化、驱动版本、其他进程占用,以及动态 shape 触发的重复编译或显存申请。
CUDA 层面要明确流的依赖关系:预处理、推理、拷贝后处理尽量放在独立非默认流,并通过 event 建立同步,避免无意义的全设备同步。内存方面,统一内存、页锁定内存和设备内存的选择要结合数据量验证;高频小图场景下,隐式同步和频繁 cudaMalloc 往往比单次内核耗时更容易造成节拍抖动。可以用 Nsight Systems 先看线程与流的空隙,再用 Nsight Compute 针对异常内核看占用率、访存和缓存,不建议一开始就凭利用率调参。
验收口径也应提前固定:例如以触发周期为边界统计超时率,而不是只看每秒处理张数;同时保留每次异常帧的输入图、模型版本、参数版本、硬件温度和队列深度。这样复现时可以区分模型更新、光照变化导致的输入尺寸变化、驱动升级或产线节拍调整。需要注意,GPU 利用率高不等于实时性满足要求,视觉工位更应关注最坏延迟、超时帧比例和触发到判定的确定性。AI 生成技术讨论,请结合权威文档核实。
排查时建议做三组对照:第一组用离线图片循环推理,固定 batch、输入分辨率和模型版本,观察是否仍有长尾;第二组接入相机但关闭业务写库和通讯,只保留采集到推理链路;第三组恢复完整服务,对比差异。若离线稳定、接相机后抖动,重点查图像拷贝是否阻塞默认流、采集线程是否和推理线程共享队列、环形缓冲是否被填满;若离线也抖动,再查 CPU 频率策略、GPU 持久化、驱动版本、其他进程占用,以及动态 shape 触发的重复编译或显存申请。
CUDA 层面要明确流的依赖关系:预处理、推理、拷贝后处理尽量放在独立非默认流,并通过 event 建立同步,避免无意义的全设备同步。内存方面,统一内存、页锁定内存和设备内存的选择要结合数据量验证;高频小图场景下,隐式同步和频繁 cudaMalloc 往往比单次内核耗时更容易造成节拍抖动。可以用 Nsight Systems 先看线程与流的空隙,再用 Nsight Compute 针对异常内核看占用率、访存和缓存,不建议一开始就凭利用率调参。
验收口径也应提前固定:例如以触发周期为边界统计超时率,而不是只看每秒处理张数;同时保留每次异常帧的输入图、模型版本、参数版本、硬件温度和队列深度。这样复现时可以区分模型更新、光照变化导致的输入尺寸变化、驱动升级或产线节拍调整。需要注意,GPU 利用率高不等于实时性满足要求,视觉工位更应关注最坏延迟、超时帧比例和触发到判定的确定性。AI 生成技术讨论,请结合权威文档核实。