A
端侧 AI 芯片选型踩坑帖太多，根因是拿手机 SoC 的思维读 NPU 规格书：TOPS 大 ≠ 跑得快。这篇给一个"三张表读法"——带宽表、算子支持表、编译器流水表。
一、第一张：内存系统规格（被忽略最狠）
TOPS 是乘法器的理论峰值，真实吞吐 ≈ min(算力天花板, 内存带宽 ÷ 每字节权重要读的 MAC 数)。读规格书先找：
- LPDDR 型号与位宽（LPDDR4X-4266 ×64bit ≈ 34 GB/s 量级，小模型够用，跑 7B 级 decode 立刻撞墙）；
- 有没有片上 SRAM 及其容量（2~8 MB 级决定 attention KV 能否分块驻留）；
- DDR 总线仲裁：NPU 与 CPU/GPU/VPU 共享带宽时，"典型 ISP 多路录像并发下 NPU 实测吞吐"才是真数字——规格书若不敢给共载数据，自己加满负载测。
二、第二张：算子支持矩阵（生态照妖镜）
正规 NPU 工具链的文档里都有支持算子列表和精度方案。看三点：
1. 覆盖度：transpose / gelu / layernorm 这类"胶水算子"是降级到 CPU 还是硬核支持？一个 40% CPU 兜底的网络，实测延迟被 DDR 往返控制；
2. 量化粒度：per-tensor 还是 per-channel（权重量化基本都要 per-channel，否则掉点明显）；激活是否支持 SmoothQuant 类方案；
3. 动态 shape：语言模型的变长输入在多数端侧 NPU 上要 padding/tile，padding 损耗（384 → 512 就是 33% 白算）在规格书里一个字没有，全靠自己测。
三、第三张：编译器流水与可观测性
- 是否有 layer 级时间戳/perf 统计（没有=优化靠猜）；
- 图优化能力：conv+bn+relu 融合是底线，attention 融合看代际；
- 多核分配策略：NPU 的 2/4 核大模型算子内并行的扩展效率。
四、选型实测包（供参考）
1. 三档模型（0.5B / 7B int4 / 视觉检测）跑满配：吞吐、首 token TTFT、功率曲线；
2. 满 CPU 负载 + 满 ISP + 满 NPU 的共载测试；
3. 温度 45℃ 环境箱里的 30 分钟降频曲线（很多 TOPS 死在这段）。
一句话总结：TOPS 决定理论上限，带宽决定 decode 上限，工具链决定实际值。三条中任何一条规格书没写，都默认最坏情况去评估。
做选型的同事可以共享一下各家 perf 表的坑位，我来汇编成不点名的版本对比。
一、第一张：内存系统规格（被忽略最狠）
TOPS 是乘法器的理论峰值，真实吞吐 ≈ min(算力天花板, 内存带宽 ÷ 每字节权重要读的 MAC 数)。读规格书先找：
- LPDDR 型号与位宽（LPDDR4X-4266 ×64bit ≈ 34 GB/s 量级，小模型够用，跑 7B 级 decode 立刻撞墙）；
- 有没有片上 SRAM 及其容量（2~8 MB 级决定 attention KV 能否分块驻留）；
- DDR 总线仲裁：NPU 与 CPU/GPU/VPU 共享带宽时，"典型 ISP 多路录像并发下 NPU 实测吞吐"才是真数字——规格书若不敢给共载数据，自己加满负载测。
二、第二张：算子支持矩阵（生态照妖镜）
正规 NPU 工具链的文档里都有支持算子列表和精度方案。看三点：
1. 覆盖度：transpose / gelu / layernorm 这类"胶水算子"是降级到 CPU 还是硬核支持？一个 40% CPU 兜底的网络，实测延迟被 DDR 往返控制；
2. 量化粒度：per-tensor 还是 per-channel（权重量化基本都要 per-channel，否则掉点明显）；激活是否支持 SmoothQuant 类方案；
3. 动态 shape：语言模型的变长输入在多数端侧 NPU 上要 padding/tile，padding 损耗（384 → 512 就是 33% 白算）在规格书里一个字没有，全靠自己测。
三、第三张：编译器流水与可观测性
- 是否有 layer 级时间戳/perf 统计（没有=优化靠猜）；
- 图优化能力：conv+bn+relu 融合是底线，attention 融合看代际；
- 多核分配策略：NPU 的 2/4 核大模型算子内并行的扩展效率。
四、选型实测包（供参考）
1. 三档模型（0.5B / 7B int4 / 视觉检测）跑满配：吞吐、首 token TTFT、功率曲线；
2. 满 CPU 负载 + 满 ISP + 满 NPU 的共载测试；
3. 温度 45℃ 环境箱里的 30 分钟降频曲线（很多 TOPS 死在这段）。
一句话总结：TOPS 决定理论上限，带宽决定 decode 上限，工具链决定实际值。三条中任何一条规格书没写，都默认最坏情况去评估。
做选型的同事可以共享一下各家 perf 表的坑位，我来汇编成不点名的版本对比。