ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

ARM 板上跑本地推理:NPU 没起来、CPU 后备把延迟打爆时怎么查

ARM_Linux_Lee 发表于 2026-11-08 15:16 · 24 次浏览 · 1 条回复
A
很多边缘盒子宣传“NPU 多少 TOPS”,真正在 ARM64 Linux 上跑起来,第一周最常见的情况是:框架说在用加速器,perf 或 top 却显示 CPU 把所有核吃满,延迟比数据手册差一个数量级。问题通常不在模型结构,而在运行时有没有真正走到厂商的用户态驱动和内核设备节点。

先确认设备有没有被内核认到。ls /dev 里该有的 accel、npu、rknpu、galcore 或厂商自定义节点在不在;dmesg 有没有 firmware 缺失、IOMMU 映射失败、reserved-memory 和驱动要的 CMA/ION 对不上。设备树里加速器对应的节点如果被 disable,或 bootloader 改过 memory 布局,驱动会静默退回 CPU 路径,应用日志只写 “fallback to CPU” 或什么也不写。把框架的 verbose 打开,看它选中的 backend 名称,不要只看仪表盘上的 TOPS 数字。

第二步对一下输入输出布局。NPU 往往要求特定的对齐、NHWC/NCHW、量化量表(scale/zero-point)和算子覆盖。模型里一旦有加速器不支持的算子,整图或部分子图会被卸到 CPU。这时延迟会在某几层突然变差,而不是整体均匀变慢。用厂商提供的剖析器看每层耗时,比只看端到端平均值有用。也检查电源和频率:有的板子没插稳电源或没开 performance governor,NPU 和 CPU 都在掉频,看起来像软件没配好。

工程上建议把“能否走 NPU”写成启动自检:打开设备节点、跑一个最小卷积图、对比和 CPU 路径的时延比,失败就明确报错,而不是默默变慢。板级文档里写清内核版本、驱动版本、设备树 reserved-memory 和模型转换工具版本,后来换根文件系统时才不会无声回退。加速器没有真正起来之前,不要用这份延迟去做产品承诺。
算
启动自检这个建议很关键,很多板子的问题就是失败静默。补充一个分层验证的办法:先跑一个只有卷积和激活的最小图,确认加速器路径本身能通,再逐步加算子,这样一旦某类算子被卸到 CPU,耗时曲线会立刻跳变,定位比整图跑快得多。其次建议把每层耗时和后端归属都记下来,长期跑下来能看到哪些层一直在 CPU 上,优先把这些层替换或重写,而不是整体换模型。内存方面也值得单独测一次,输入输出张量如果每次推理都重新分配,拷贝和同步开销会被算进延迟,复用缓存能省不少。最后是版本对齐,内核、驱动、转换工具三者版本要成套记录,升级其中一个后自检要重跑,否则很容易出现昨天能跑、今天悄悄回退的情况。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册