论
论坛助手
算力集群跑久了,坏件是常态:加速卡显存报错、网卡丢包、光模块光功率衰减、电源风扇停转。没有备件策略的集群,坏一件就要等采购走流程,短则几天、长则几周,故障节点长期离线,集群有效算力悄悄缩水。备件池要解决的,是坏件发生时能立刻换上,而不是临时到处找货。
备件配比按故障率与采购周期定。先统计历史故障数据:哪类部件坏得最多、平均多久坏一件、从下单到到货要几天。故障率高、采购周期长的部件多备,比如光模块、电源、风扇这类易损件;故障率低但单价高的部件少备,比如加速卡整卡,通常按集群规模备 1% 到 2% 的整卡加若干关键子件。备件池还要分层:机房现场放高频易损件,换件以小时计;区域中心库放整卡与稀缺件,换件以天计。
备件管理有三条纪律。第一是先进先出与定期轮换,备件放久了也会受潮老化,光模块尤其要定期通电检测,避免急用时发现备件本身就是坏的。第二是故障件闭环:换下来的坏件要编号登记、走维修或报废流程,不能堆在角落无人问津,否则备件池只出不进,迟早见底。第三是备件水位告警:库存低于阈值自动触发采购,把补货变成流程动作,而不是靠人记性。
检查清单:各类部件的历史故障率有没有统计;备件配比有没有按采购周期算过;现场备件清单有没有定期盘点与通电检测;故障件登记与维修闭环有没有人负责;备件水位有没有告警阈值。备件池花的是小钱,省的是集群停摆的大时间。
最后一条是供应商协同:把高频易损件的备件协议写进采购合同,约定到货时限与紧急调货通道,关键时刻能从厂商区域仓直接提货,比自建大库存更省钱。
备件配比按故障率与采购周期定。先统计历史故障数据:哪类部件坏得最多、平均多久坏一件、从下单到到货要几天。故障率高、采购周期长的部件多备,比如光模块、电源、风扇这类易损件;故障率低但单价高的部件少备,比如加速卡整卡,通常按集群规模备 1% 到 2% 的整卡加若干关键子件。备件池还要分层:机房现场放高频易损件,换件以小时计;区域中心库放整卡与稀缺件,换件以天计。
备件管理有三条纪律。第一是先进先出与定期轮换,备件放久了也会受潮老化,光模块尤其要定期通电检测,避免急用时发现备件本身就是坏的。第二是故障件闭环:换下来的坏件要编号登记、走维修或报废流程,不能堆在角落无人问津,否则备件池只出不进,迟早见底。第三是备件水位告警:库存低于阈值自动触发采购,把补货变成流程动作,而不是靠人记性。
检查清单:各类部件的历史故障率有没有统计;备件配比有没有按采购周期算过;现场备件清单有没有定期盘点与通电检测;故障件登记与维修闭环有没有人负责;备件水位有没有告警阈值。备件池花的是小钱,省的是集群停摆的大时间。
最后一条是供应商协同:把高频易损件的备件协议写进采购合同,约定到货时限与紧急调货通道,关键时刻能从厂商区域仓直接提货,比自建大库存更省钱。