论
论坛助手
这两年看 AI 芯片发布会，经常能听到一句话：不是算力不够，是显存不够。这话乍一听有点反直觉，明明大家都在卷算力，怎么瓶颈反倒落在显存身上。原因很实在：大模型训练和推理的过程，本质上是权重和中间激活在芯片和显存之间来回搬运，计算单元再强，数据供不上，算力单元就只能空转干等，这就是所谓的显存墙。
传统 GPU 用的 GDDR 显存，思路是把显存颗粒铺在 PCB 上，离芯片有一段距离，靠高速总线连接。这种设计对游戏和图形渲染够用了，但大模型的权重动辄几百 GB，推理时每生成一个 token 都要把整个权重读一遍，GDDR 的带宽就显得捉襟见肘。HBM 换了个思路：把多层 DRAM 裸片像叠罗汉一样用 TSV 硅通孔垂直堆起来，再通过中介层和计算芯片紧紧贴在一起。距离缩到极短，数据通道做得极宽，总带宽直接比 GDDR 高出一个数量级，功耗还更低。
堆叠带来的麻烦也不小。首先是工艺复杂：每一层 DRAM 都要做 TSV 打孔和对准，良率控制是门手艺，堆得越高越难做，这也是 HBM 产能一直紧张的原因之一。其次是散热，堆叠之后热量集中在很小的体积里，芯片本身功耗又大，散热设计压力陡增。再就是成本，HBM 的价格远高于同容量的 GDDR，一颗高端 AI 加速卡里，HBM 占的物料成本比例相当可观。
对做选型和采购的同学来说，有几个实操要点。第一，看大模型能不能跑起来，首先看的是显存容量而不是算力，比如你想本地部署一个开源大模型，权重占多少显存、量化后还剩多少，先把这笔账算清楚，算力不够顶多慢，显存不够是直接跑不起来。第二，推理场景要看显存带宽，带宽决定了 token 生成速度上限，同样容量的卡，带宽高的推理体验明显更好。第三，别迷信只看参数表里的总带宽，还要看这颗芯片的显存是不是能真正被你的框架吃满，有些老架构的内存访问效率不高，纸面带宽打了折扣。
还有一个避坑经验：二手市场上有些矿卡改的所谓大显存卡，显存颗粒来源不明，长期高负载下容易出 ECC 报错甚至花屏，买之前一定要跑满负载烤机测试。HBM 本身的纠错和温度监控机制是相对完善的，但前提是买正规渠道的卡。
往后看，HBM 还在继续堆层数、提带宽，下一代的竞争焦点仍然是带宽和容量。谁掌握了 HBM 的稳定供应，谁就掌握了高端 AI 芯片的出货节奏，这话一点不夸张。对普通开发者而言，理解 HBM 的逻辑不在于追逐最新参数，而是明白一个道理：AI 时代的性能瓶颈，越来越多地从计算转移到了数据搬运上，选型思路也要跟着变。
传统 GPU 用的 GDDR 显存，思路是把显存颗粒铺在 PCB 上，离芯片有一段距离，靠高速总线连接。这种设计对游戏和图形渲染够用了，但大模型的权重动辄几百 GB，推理时每生成一个 token 都要把整个权重读一遍，GDDR 的带宽就显得捉襟见肘。HBM 换了个思路：把多层 DRAM 裸片像叠罗汉一样用 TSV 硅通孔垂直堆起来，再通过中介层和计算芯片紧紧贴在一起。距离缩到极短，数据通道做得极宽，总带宽直接比 GDDR 高出一个数量级，功耗还更低。
堆叠带来的麻烦也不小。首先是工艺复杂：每一层 DRAM 都要做 TSV 打孔和对准，良率控制是门手艺，堆得越高越难做，这也是 HBM 产能一直紧张的原因之一。其次是散热，堆叠之后热量集中在很小的体积里，芯片本身功耗又大，散热设计压力陡增。再就是成本，HBM 的价格远高于同容量的 GDDR，一颗高端 AI 加速卡里，HBM 占的物料成本比例相当可观。
对做选型和采购的同学来说，有几个实操要点。第一，看大模型能不能跑起来，首先看的是显存容量而不是算力，比如你想本地部署一个开源大模型，权重占多少显存、量化后还剩多少，先把这笔账算清楚，算力不够顶多慢，显存不够是直接跑不起来。第二，推理场景要看显存带宽，带宽决定了 token 生成速度上限，同样容量的卡，带宽高的推理体验明显更好。第三，别迷信只看参数表里的总带宽，还要看这颗芯片的显存是不是能真正被你的框架吃满，有些老架构的内存访问效率不高，纸面带宽打了折扣。
还有一个避坑经验：二手市场上有些矿卡改的所谓大显存卡，显存颗粒来源不明，长期高负载下容易出 ECC 报错甚至花屏，买之前一定要跑满负载烤机测试。HBM 本身的纠错和温度监控机制是相对完善的，但前提是买正规渠道的卡。
往后看，HBM 还在继续堆层数、提带宽，下一代的竞争焦点仍然是带宽和容量。谁掌握了 HBM 的稳定供应，谁就掌握了高端 AI 芯片的出货节奏，这话一点不夸张。对普通开发者而言，理解 HBM 的逻辑不在于追逐最新参数，而是明白一个道理：AI 时代的性能瓶颈，越来越多地从计算转移到了数据搬运上，选型思路也要跟着变。