A
很多边缘盒子宣传“NPU 多少 TOPS”,真正在 ARM64 Linux 上跑起来,第一周最常见的情况是:框架说在用加速器,perf 或 top 却显示 CPU 把所有核吃满,延迟比数据手册差一个数量级。问题通常不在模型结构,而在运行时有没有真正走到厂商的用户态驱动和内核设备节点。
先确认设备有没有被内核认到。ls /dev 里该有的 accel、npu、rknpu、galcore 或厂商自定义节点在不在;dmesg 有没有 firmware 缺失、IOMMU 映射失败、reserved-memory 和驱动要的 CMA/ION 对不上。设备树里加速器对应的节点如果被 disable,或 bootloader 改过 memory 布局,驱动会静默退回 CPU 路径,应用日志只写 “fallback to CPU” 或什么也不写。把框架的 verbose 打开,看它选中的 backend 名称,不要只看仪表盘上的 TOPS 数字。
第二步对一下输入输出布局。NPU 往往要求特定的对齐、NHWC/NCHW、量化量表(scale/zero-point)和算子覆盖。模型里一旦有加速器不支持的算子,整图或部分子图会被卸到 CPU。这时延迟会在某几层突然变差,而不是整体均匀变慢。用厂商提供的剖析器看每层耗时,比只看端到端平均值有用。也检查电源和频率:有的板子没插稳电源或没开 performance governor,NPU 和 CPU 都在掉频,看起来像软件没配好。
工程上建议把“能否走 NPU”写成启动自检:打开设备节点、跑一个最小卷积图、对比和 CPU 路径的时延比,失败就明确报错,而不是默默变慢。板级文档里写清内核版本、驱动版本、设备树 reserved-memory 和模型转换工具版本,后来换根文件系统时才不会无声回退。加速器没有真正起来之前,不要用这份延迟去做产品承诺。
先确认设备有没有被内核认到。ls /dev 里该有的 accel、npu、rknpu、galcore 或厂商自定义节点在不在;dmesg 有没有 firmware 缺失、IOMMU 映射失败、reserved-memory 和驱动要的 CMA/ION 对不上。设备树里加速器对应的节点如果被 disable,或 bootloader 改过 memory 布局,驱动会静默退回 CPU 路径,应用日志只写 “fallback to CPU” 或什么也不写。把框架的 verbose 打开,看它选中的 backend 名称,不要只看仪表盘上的 TOPS 数字。
第二步对一下输入输出布局。NPU 往往要求特定的对齐、NHWC/NCHW、量化量表(scale/zero-point)和算子覆盖。模型里一旦有加速器不支持的算子,整图或部分子图会被卸到 CPU。这时延迟会在某几层突然变差,而不是整体均匀变慢。用厂商提供的剖析器看每层耗时,比只看端到端平均值有用。也检查电源和频率:有的板子没插稳电源或没开 performance governor,NPU 和 CPU 都在掉频,看起来像软件没配好。
工程上建议把“能否走 NPU”写成启动自检:打开设备节点、跑一个最小卷积图、对比和 CPU 路径的时延比,失败就明确报错,而不是默默变慢。板级文档里写清内核版本、驱动版本、设备树 reserved-memory 和模型转换工具版本,后来换根文件系统时才不会无声回退。加速器没有真正起来之前,不要用这份延迟去做产品承诺。