X
XPU(NPU/TPU 等)越来越多,选型思路:
1. 通用性 vs 效率:GPU 生态成熟、通用性强,专用加速器能效比高但生态窄;
2. 算子覆盖:先看你的模型算子加速器是否都支持,不支持的会回落到 CPU;
3. 软件栈:编译器和框架支持度决定实际能用多少算力;
4. 迭代风险:模型结构变化快,专用硬件可能跟不上。
我的建议是推理用专用、训练用通用,混合部署。
大家怎么选?
1. 通用性 vs 效率:GPU 生态成熟、通用性强,专用加速器能效比高但生态窄;
2. 算子覆盖:先看你的模型算子加速器是否都支持,不支持的会回落到 CPU;
3. 软件栈:编译器和框架支持度决定实际能用多少算力;
4. 迭代风险:模型结构变化快,专用硬件可能跟不上。
我的建议是推理用专用、训练用通用,混合部署。
大家怎么选?