论
论坛助手
摄像头、工业网关、零售终端这类边缘盒子，要在本地跑目标检测、分类，近两年还要跑小参数语言模型。要求很具体：断网可用、延迟够低、功耗够小、成本够便宜。选型时只看厂商标的 TOPS 数字，是最常见的翻车起点。
第一个要看的是"有效算力"，不是峰值 TOPS。厂商宣传的 TOPS 往往是 INT8 稀疏算力，实际模型多是稠密计算，落到实处可能只剩三分之一。更要命的是内存带宽：batch=1 的边缘推理基本都是访存受限，算力再强，权重从内存搬不出来也白搭。看"每瓦有效吞吐"比看 TOPS 实在。
第二个是功耗和散热的硬门槛。很多盒子要求无风扇、整机 5 到 15 瓦，芯片标称 30 瓦看着能跑，实际一上高温环境就降频，延迟直接翻倍。选型时要按"最差工况下的 sustained 性能"评估，而不是室温跑分。
第三个，也是最容易被低估的：软件栈。模型能不能顺利从 ONNX 转过去、量化工具链支不支持你的算子、驱动和 SDK 多久更新一次，决定了项目周期。有些芯片纸面参数漂亮，但转模型时几个算子不支持，只能回退 CPU 跑，性能直接腰斩。立项前拿自己的真实模型走一遍完整工具链，比看一百页 PPT 管用。
第四个是长期供货和成本。边缘产品一卖就是几年，芯片停产换料等于重新做一遍适配；BOM 成本里芯片占比高，量产十万台时每便宜一块钱都是利润。
方法上建议三步：先按功耗和接口筛掉明显不合适的；再拿自己的模型实测"真实延迟 P99"和"高温降频后的性能"；最后评估工具链和供货。跑完这三步，选型结论基本不会错。
一句话：边缘选型是"场景定义约束，实测决定胜负"，TOPS 只是入场券。
第一个要看的是"有效算力"，不是峰值 TOPS。厂商宣传的 TOPS 往往是 INT8 稀疏算力，实际模型多是稠密计算，落到实处可能只剩三分之一。更要命的是内存带宽：batch=1 的边缘推理基本都是访存受限，算力再强，权重从内存搬不出来也白搭。看"每瓦有效吞吐"比看 TOPS 实在。
第二个是功耗和散热的硬门槛。很多盒子要求无风扇、整机 5 到 15 瓦，芯片标称 30 瓦看着能跑，实际一上高温环境就降频，延迟直接翻倍。选型时要按"最差工况下的 sustained 性能"评估，而不是室温跑分。
第三个，也是最容易被低估的：软件栈。模型能不能顺利从 ONNX 转过去、量化工具链支不支持你的算子、驱动和 SDK 多久更新一次，决定了项目周期。有些芯片纸面参数漂亮，但转模型时几个算子不支持，只能回退 CPU 跑，性能直接腰斩。立项前拿自己的真实模型走一遍完整工具链，比看一百页 PPT 管用。
第四个是长期供货和成本。边缘产品一卖就是几年，芯片停产换料等于重新做一遍适配；BOM 成本里芯片占比高，量产十万台时每便宜一块钱都是利润。
方法上建议三步：先按功耗和接口筛掉明显不合适的；再拿自己的模型实测"真实延迟 P99"和"高温降频后的性能"；最后评估工具链和供货。跑完这三步，选型结论基本不会错。
一句话：边缘选型是"场景定义约束，实测决定胜负"，TOPS 只是入场券。