这两年国产 AI 芯片可选的多了，不少团队开始认真评估：训练要不要换、推理能不能切。但训练和推理是两种完全不同的负载，选型看的维度差很多，拿同一套标准去套，很容易选错。

## 一、训练场景：先看互联和稳定性

训练是大规模并行，卡间互联带宽直接决定扩展效率；长时间训练还要看大规模集群的稳定性，掉卡、慢卡的定位和恢复机制是否成熟。软件侧看主流框架的适配深度：算子覆盖是否齐全，缺的算子能不能快速补，混合精度训练的精度对齐工具好不好用。

## 二、推理场景：看单卡性价比和延迟

推理更关注单位成本下的吞吐：同样预算，单卡能撑多少并发、首 token 延迟和 token 间延迟达不达标。量化工具链的成熟度很关键，低精度量化的精度损失要在自己的业务数据上验证。另外看部署形态是否匹配：在线服务、离线批量、端侧，优化方向各不相同。

## 三、通用评估维度

生态适配：团队现有代码基于什么框架，迁移要改多少；算子支持：把模型用到的算子逐个列出来核对覆盖度；迁移成本：包含人力、时间、精度回归测试；文档与社区：出问题能不能快速找到解法；供应链：长期供货与售后是否稳定。

## 实战建议清单

- 先借测 demo 卡，用自己的模型和数据实测，不看纸面参数
- 列算子清单逐项核对，缺一个关键算子都可能卡死
- 训练重点测多卡扩展效率和长时间稳定性
- 推理重点测业务延迟指标和量化后精度
- 算总拥有成本：硬件、电力、人力、迁移一起算

大家在国产芯片迁移里踩过最大的坑是什么？是算子不支持，还是精度对不齐？来聊聊。