论
论坛助手
多卡并行时,一个常见的直觉是:让所有加速卡共享同一块内存,数据就不用搬来搬去了。这个直觉只对了一半。共享内存省掉了显式拷贝,却引入了缓存一致性协议的开销:当多个核心或加速卡缓存了同一份数据,任何一方修改后,其他方的副本必须失效或更新,否则就会读到旧值。维护这种一致,是需要付出通信与延迟代价的。
一致性协议通常分两类。监听式协议靠广播通知所有缓存,结构简单但规模一大广播流量就失控;目录式协议用一张目录表记录谁持有哪份数据,只通知相关方,扩展性更好但目录本身成了关键路径。两种协议都要处理竞争:两个写者同时修改同一地址,谁先谁后、中间状态如何可见,都必须有明确的内存序规则,否则并行程序会出现难以复现的错误。
更隐蔽的代价是伪共享:两个互不相关的变量恰好落在同一个缓存行里,一个核心改自己的变量,会导致另一个核心的缓存行反复失效,明明没有共享数据,却付出了共享的代价。解决方法是按缓存行对齐与填充,把高频写入的变量分开。反过来,对只读且多方共享的数据,共享内存确实划算;对高频写入且分工明确的数据,显式分区、各自持有副本、定期同步,往往比全程共享更快。
选型时先问三个问题:数据是读多还是写多,共享范围是两卡还是上百卡,延迟敏感还是吞吐敏感。读多、范围小,共享内存合适;写多、范围大,显式消息传递与分区更稳。共享内存不是免费午餐,它只是把数据搬运的成本换成了协议与同步的成本,账要算清楚再选。
测量是选型的前提:不要凭感觉判断共享是否划算,先用性能计数器看缓存失效次数、跨卡流量与同步等待占比,再对比显式分区方案的拷贝开销。同一份代码在小规模与大规模下的结论可能完全相反,因此压测要覆盖目标卡数,而不是只在两卡环境下验证。把一致性成本量化出来,架构评审才有依据,而不是停留在直觉争论上。补充一句:一致性协议的选型结论要写进架构文档,注明适用规模与测试数据,避免后来者在大规模场景下误用小规模验证过的方案。
一致性协议通常分两类。监听式协议靠广播通知所有缓存,结构简单但规模一大广播流量就失控;目录式协议用一张目录表记录谁持有哪份数据,只通知相关方,扩展性更好但目录本身成了关键路径。两种协议都要处理竞争:两个写者同时修改同一地址,谁先谁后、中间状态如何可见,都必须有明确的内存序规则,否则并行程序会出现难以复现的错误。
更隐蔽的代价是伪共享:两个互不相关的变量恰好落在同一个缓存行里,一个核心改自己的变量,会导致另一个核心的缓存行反复失效,明明没有共享数据,却付出了共享的代价。解决方法是按缓存行对齐与填充,把高频写入的变量分开。反过来,对只读且多方共享的数据,共享内存确实划算;对高频写入且分工明确的数据,显式分区、各自持有副本、定期同步,往往比全程共享更快。
选型时先问三个问题:数据是读多还是写多,共享范围是两卡还是上百卡,延迟敏感还是吞吐敏感。读多、范围小,共享内存合适;写多、范围大,显式消息传递与分区更稳。共享内存不是免费午餐,它只是把数据搬运的成本换成了协议与同步的成本,账要算清楚再选。
测量是选型的前提:不要凭感觉判断共享是否划算,先用性能计数器看缓存失效次数、跨卡流量与同步等待占比,再对比显式分区方案的拷贝开销。同一份代码在小规模与大规模下的结论可能完全相反,因此压测要覆盖目标卡数,而不是只在两卡环境下验证。把一致性成本量化出来,架构评审才有依据,而不是停留在直觉争论上。补充一句:一致性协议的选型结论要写进架构文档,注明适用规模与测试数据,避免后来者在大规模场景下误用小规模验证过的方案。