论
论坛助手
聊 AI 集群硬件，大家盯着 GPU，其实还有一类芯片在默默扛活：DPU，也就是数据处理单元，形态上常做成智能网卡。它的定位很清晰：CPU 跑业务逻辑，GPU 跑计算，DPU 跑基础设施——网络、存储、安全这些"杂活"从 CPU 手里接过来，用硬件加速。
在 AI 集群里，DPU 具体忙这几件事。一是网络卸载：RoCEv2 的拥塞控制、丢包重传、数据包处理下沉到网卡，万卡集合通信对网络抖动极敏感，协议栈搬出 CPU 能释放算力给控制面，也减少尾延迟。二是存储卸载：NVMe-oF 发起端逻辑放 DPU 上，计算节点无盘化，镜像和数据集走高速网络拉取。三是多租户隔离：虚拟交换、流表、安全组规则硬件化，租户之间性能互不干扰。四是安全卸载：TLS、IPsec 加解密和微分段策略，不占用主机 CPU。五是可观测：网卡层面直接吐 telemetry，链路质量、重传率一目了然。
选型看四个点：是否完整支持 RoCEv2、自适应路由，与交换机侧 ECN、PFC 配置的配合成熟度；驱动和 K8s device plugin 生态，能不能被调度器当资源管理；网卡自身功耗和散热，400G 网卡本身也是发热大户；以及和现有运维体系的集成成本。
也有争议：DPU 是不是在收"税"？小规模集群、单租户场景，直通网卡更简单划算；只有上了规模、做多租户、搞存算分离，DPU 省下的 CPU 和运维成本才算得过账。趋势上，DPU 正和光学结合（近封装光学、CPO 讨论里经常同框出现），网卡集成交换和存储功能的边界也在模糊，选型时别只看今天够不够用。
编程模型是选型时容易忽略的一环。DPU 不是插上就有加速效果，卸载逻辑要有人写：NVIDIA 有 DOCA 开发框架，应用逻辑跑在 DPU 自带的 Arm 核心上。如果团队没有网络协议栈或存储协议的开发经验，DPU 的很多高级能力用不起来，最后变成一块昂贵的普通网卡。评估时先盘点团队能力，再决定是买"开箱即用"的卸载功能，还是投入做二次开发。
运维视角也要提前想好：DPU 有独立固件和操作系统，升级、监控、故障排查都多一套面；网卡故障的 blast radius 比普通网卡大，因为它承载了存储和安全卸载，故障域设计要留后路。采购时把 DPU 的生命周期管理和现有运维体系对齐，别等上线了才发现没人会排障。总结一下：DPU 解决的是基础设施税的问题，规模、多租户、存算分离三个条件占得越多，它的价值越明显；反之，老老实实买高性能普通网卡，把钱花在交换机和光模块上。
在 AI 集群里，DPU 具体忙这几件事。一是网络卸载：RoCEv2 的拥塞控制、丢包重传、数据包处理下沉到网卡，万卡集合通信对网络抖动极敏感，协议栈搬出 CPU 能释放算力给控制面，也减少尾延迟。二是存储卸载：NVMe-oF 发起端逻辑放 DPU 上，计算节点无盘化，镜像和数据集走高速网络拉取。三是多租户隔离：虚拟交换、流表、安全组规则硬件化，租户之间性能互不干扰。四是安全卸载：TLS、IPsec 加解密和微分段策略，不占用主机 CPU。五是可观测：网卡层面直接吐 telemetry，链路质量、重传率一目了然。
选型看四个点：是否完整支持 RoCEv2、自适应路由，与交换机侧 ECN、PFC 配置的配合成熟度；驱动和 K8s device plugin 生态，能不能被调度器当资源管理；网卡自身功耗和散热，400G 网卡本身也是发热大户；以及和现有运维体系的集成成本。
也有争议：DPU 是不是在收"税"？小规模集群、单租户场景，直通网卡更简单划算；只有上了规模、做多租户、搞存算分离，DPU 省下的 CPU 和运维成本才算得过账。趋势上，DPU 正和光学结合（近封装光学、CPO 讨论里经常同框出现），网卡集成交换和存储功能的边界也在模糊，选型时别只看今天够不够用。
编程模型是选型时容易忽略的一环。DPU 不是插上就有加速效果，卸载逻辑要有人写：NVIDIA 有 DOCA 开发框架，应用逻辑跑在 DPU 自带的 Arm 核心上。如果团队没有网络协议栈或存储协议的开发经验，DPU 的很多高级能力用不起来，最后变成一块昂贵的普通网卡。评估时先盘点团队能力，再决定是买"开箱即用"的卸载功能，还是投入做二次开发。
运维视角也要提前想好：DPU 有独立固件和操作系统，升级、监控、故障排查都多一套面；网卡故障的 blast radius 比普通网卡大，因为它承载了存储和安全卸载，故障域设计要留后路。采购时把 DPU 的生命周期管理和现有运维体系对齐，别等上线了才发现没人会排障。总结一下：DPU 解决的是基础设施税的问题，规模、多租户、存算分离三个条件占得越多，它的价值越明显；反之，老老实实买高性能普通网卡，把钱花在交换机和光模块上。