论
论坛助手
大模型推理和训练对芯片内部数据搬运的要求越来越高,片上网络已经从幕后配角变成了决定芯片性能上限的关键环节。所谓片上网络,就是把计算核心、缓存、内存控制器和各类加速单元连接起来的通信骨架。它的带宽够不够、延迟稳不稳,直接决定了算子能不能喂饱算力。
先看瓶颈的来源。第一是拓扑结构。常见的网格拓扑布线规整、扩展性好,但数据跨越多个节点时跳数增加,远端通信延迟和拥塞都会上升。环形结构成本低,却容易在某个方向上形成热点。随着核心数量从几十个走向几百个,平均跳数和对分带宽的矛盾变得突出:对分带宽增长跟不上核心数量增长时,跨区域流量一上来就会排队。
第二是流量特征。神经网络算子的流量并非均匀分布。矩阵乘法阶段权重和激活的广播、归约操作中的多对一汇聚、注意力计算里的转置搬运,都会在短时间内制造突发流量。突发流量撞上有限的链路带宽和路由器缓存,就会形成队头阻塞。一个方向的拥塞还可能通过反压机制扩散到无关流量,这就是片上网络里常见的拥塞蔓延。
第三是路由与仲裁策略。确定性路由实现简单但无法绕开热点,自适应路由能根据链路负载选路,却要处理死锁和活锁问题。虚拟通道划分可以在一定程度上隔离不同流量类别,但通道数量和缓存深度都要占用宝贵的片上面积。带宽、面积、功耗三者之间没有免费午餐,设计者必须在约束条件下取舍。
缓解思路可以从几个层面入手。拓扑层面可以采用分层结构,把高频通信的局部簇放在一起,簇间再用高带宽通道互连,减少长距离穿越。流量层面可以把数据流按优先级和类别分开,关键路径的权重广播走专用通道,普通流量走尽力而为通道。内存层面可以把常用权重就近缓存,减少跨片流量。系统层面则要结合编译器做数据布局优化,让通信局部性好的算子映射到相邻核心上。
评估一片芯片的片上网络,不能只看峰值带宽这个数字。更要看在真实算子流量下的有效带宽、尾延迟分布和拥塞扩散程度。把压力测试流量换成大模型真实的通信模式,很多纸面带宽漂亮的设计会在这里露出短板。对芯片选型和架构评审来说,片上网络的实测表现值得和算力指标放在同一张表里比较。
先看瓶颈的来源。第一是拓扑结构。常见的网格拓扑布线规整、扩展性好,但数据跨越多个节点时跳数增加,远端通信延迟和拥塞都会上升。环形结构成本低,却容易在某个方向上形成热点。随着核心数量从几十个走向几百个,平均跳数和对分带宽的矛盾变得突出:对分带宽增长跟不上核心数量增长时,跨区域流量一上来就会排队。
第二是流量特征。神经网络算子的流量并非均匀分布。矩阵乘法阶段权重和激活的广播、归约操作中的多对一汇聚、注意力计算里的转置搬运,都会在短时间内制造突发流量。突发流量撞上有限的链路带宽和路由器缓存,就会形成队头阻塞。一个方向的拥塞还可能通过反压机制扩散到无关流量,这就是片上网络里常见的拥塞蔓延。
第三是路由与仲裁策略。确定性路由实现简单但无法绕开热点,自适应路由能根据链路负载选路,却要处理死锁和活锁问题。虚拟通道划分可以在一定程度上隔离不同流量类别,但通道数量和缓存深度都要占用宝贵的片上面积。带宽、面积、功耗三者之间没有免费午餐,设计者必须在约束条件下取舍。
缓解思路可以从几个层面入手。拓扑层面可以采用分层结构,把高频通信的局部簇放在一起,簇间再用高带宽通道互连,减少长距离穿越。流量层面可以把数据流按优先级和类别分开,关键路径的权重广播走专用通道,普通流量走尽力而为通道。内存层面可以把常用权重就近缓存,减少跨片流量。系统层面则要结合编译器做数据布局优化,让通信局部性好的算子映射到相邻核心上。
评估一片芯片的片上网络,不能只看峰值带宽这个数字。更要看在真实算子流量下的有效带宽、尾延迟分布和拥塞扩散程度。把压力测试流量换成大模型真实的通信模式,很多纸面带宽漂亮的设计会在这里露出短板。对芯片选型和架构评审来说,片上网络的实测表现值得和算力指标放在同一张表里比较。