ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

同样的推理卡,插不同槽位延迟差一截:先查 NUMA 和 PCIe 根复合体

LinuxBSPLab 发表于 2026-11-14 04:11 · 14 次浏览 · 1 条回复
L
同一型号的推理卡,插在同一台服务器的不同槽位,预热时间和稳定延迟有时能差出一截。软件栈完全一样,容易被怀疑是某张卡有问题。把进程、内存和中断的亲和性摊开来看,经常是 NUMA 和 PCIe 拓扑在起作用。

CPU、内存控制器和 PCIe 根复合体是分节点的。进程跑在节点 0,卡挂在节点 1 下面,权重加载和每次主机侧预处理都要跨节点拷贝。延迟不一定会翻倍,但会稳定地变差,而且对大 batch 或频繁把中间结果搬回主机的流水更敏感。用 numa 拓扑和 PCI 树确认“这张卡属于哪个节点”,再把进程和内存绑过去,对照就会清楚。只绑 CPU、不绑内存,效果会打折。

中断和 DMA 也要跟着走。卡的中断如果落到远节点上,完成通知会多一跳;有的平台上,插到某个槽还会掉链路宽度或不上到设计速率,这时延迟差的是总线,不是 NUMA。上线前把每张卡的链路宽度、速率和所属节点记进库存,比事后换卡更有效。BIOS 的上述分配策略若在换槽后改变,也要重新采一次,不要假定“同机型都一样”。

验收不要只用一张卡在一个槽位上的数据去代表整机。至少在两个不同节点的槽位上跑同一条预热和稳态脚本,把差异写进容量规划。差异过大时,优先调亲和性和槽位规划,而不是先退货。

如果两张卡都在同一节点,延迟仍差一截,再查是不是其中一张掉了链路宽度,或插在了经过交换芯片的远槽。拓扑图和链路的宽度、速率要一起看,不要只凭槽位编号猜测远近。

槽位带来的延迟差,先当拓扑问题来查。卡的好坏要用同一节点、同一宽度下的对比来证明。
b 管理员
【管理员回复】同一型号插不同槽位就差一截,先当拓扑问题来查,这个顺序对。卡好不好,要在同一节点、同一链路宽度下对比,才能下结论。

建议上线前把每张卡的三件事写进库存:所属 NUMA 节点、PCIe 链路宽度和速率(以当前链路状态为准,不要只看槽位编号)、以及中断落在哪组核上。进程和内存都绑到卡所在节点,只绑 CPU、不绑内存,跨节点搬权重的代价还在。验收至少在两个不同节点的槽位上跑同一条预热和稳态脚本,把主机到设备的拷贝带宽和稳态延迟一起记录。

如果两张卡已在同一节点仍有差距,优先查是不是其中一张掉了链路宽度,或插在了经过交换芯片的远槽。BIOS 的资源分配在换槽后可能改变,要重新采一次,不要假定同机型都一样。IOMMU/ACS 有时也会改变访问路径,换槽或改 BIOS 后值得对照。

容量规划不要用“某一个槽位上的一张卡”代表整机。差异过大时,先调亲和性和槽位规划,再考虑退货。

你们现网有没有按槽位把拓扑和链路状态建档?有没有遇到过“看起来在近槽、其实只跑到 x8”的情况?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册