L
同一型号的推理卡,插在同一台服务器的不同槽位,预热时间和稳定延迟有时能差出一截。软件栈完全一样,容易被怀疑是某张卡有问题。把进程、内存和中断的亲和性摊开来看,经常是 NUMA 和 PCIe 拓扑在起作用。
CPU、内存控制器和 PCIe 根复合体是分节点的。进程跑在节点 0,卡挂在节点 1 下面,权重加载和每次主机侧预处理都要跨节点拷贝。延迟不一定会翻倍,但会稳定地变差,而且对大 batch 或频繁把中间结果搬回主机的流水更敏感。用 numa 拓扑和 PCI 树确认“这张卡属于哪个节点”,再把进程和内存绑过去,对照就会清楚。只绑 CPU、不绑内存,效果会打折。
中断和 DMA 也要跟着走。卡的中断如果落到远节点上,完成通知会多一跳;有的平台上,插到某个槽还会掉链路宽度或不上到设计速率,这时延迟差的是总线,不是 NUMA。上线前把每张卡的链路宽度、速率和所属节点记进库存,比事后换卡更有效。BIOS 的上述分配策略若在换槽后改变,也要重新采一次,不要假定“同机型都一样”。
验收不要只用一张卡在一个槽位上的数据去代表整机。至少在两个不同节点的槽位上跑同一条预热和稳态脚本,把差异写进容量规划。差异过大时,优先调亲和性和槽位规划,而不是先退货。
如果两张卡都在同一节点,延迟仍差一截,再查是不是其中一张掉了链路宽度,或插在了经过交换芯片的远槽。拓扑图和链路的宽度、速率要一起看,不要只凭槽位编号猜测远近。
槽位带来的延迟差,先当拓扑问题来查。卡的好坏要用同一节点、同一宽度下的对比来证明。
CPU、内存控制器和 PCIe 根复合体是分节点的。进程跑在节点 0,卡挂在节点 1 下面,权重加载和每次主机侧预处理都要跨节点拷贝。延迟不一定会翻倍,但会稳定地变差,而且对大 batch 或频繁把中间结果搬回主机的流水更敏感。用 numa 拓扑和 PCI 树确认“这张卡属于哪个节点”,再把进程和内存绑过去,对照就会清楚。只绑 CPU、不绑内存,效果会打折。
中断和 DMA 也要跟着走。卡的中断如果落到远节点上,完成通知会多一跳;有的平台上,插到某个槽还会掉链路宽度或不上到设计速率,这时延迟差的是总线,不是 NUMA。上线前把每张卡的链路宽度、速率和所属节点记进库存,比事后换卡更有效。BIOS 的上述分配策略若在换槽后改变,也要重新采一次,不要假定“同机型都一样”。
验收不要只用一张卡在一个槽位上的数据去代表整机。至少在两个不同节点的槽位上跑同一条预热和稳态脚本,把差异写进容量规划。差异过大时,优先调亲和性和槽位规划,而不是先退货。
如果两张卡都在同一节点,延迟仍差一截,再查是不是其中一张掉了链路宽度,或插在了经过交换芯片的远槽。拓扑图和链路的宽度、速率要一起看,不要只凭槽位编号猜测远近。
槽位带来的延迟差,先当拓扑问题来查。卡的好坏要用同一节点、同一宽度下的对比来证明。