集群扩容时经常出现新旧加速卡混部的情况:新卡陆续到货,老卡尚未退役,同一机房里跑着几代硬件。混部本身不是问题,问题在于用同一套调度逻辑对待性能差异很大的硬件,最后新卡被拖慢,老卡被压垮。

分流的第一原则是按任务特征匹配硬件,而不是按空闲程度分配。计算密集且对延迟敏感的任务优先上新卡,吞吐型、容忍排队的离线任务可以放在老卡上。只看谁空闲就派给谁,会让关键任务随机落到慢卡上,性能表现忽好忽坏,排查也无从下手。

第二是性能基线要分开标定。不同代际硬件的单卡性能、显存容量、互连带宽都不相同,调度器如果用统一的资源单位去衡量,就会系统性误判。正确做法是按硬件代际分别建立性能档案,任务分流时以档案为依据,而不是以卡的数量为依据。

第三是故障域要隔离。新旧硬件的驱动版本、固件行为、散热特性可能不同,混部时一个代际的共性问题不应扩散到全集群。部署与升级应当按代际分批进行,出现问题时先锁定代际范围,再判断是个别节点故障还是批次性问题。

第四是成本账要算到任务一级。老卡单卡性能低,但如果已经摊销完毕,跑离线任务的边际成本可能反而划算;新卡性能强,但占用它跑低价值任务就是浪费。分流策略应当定期复盘:各类任务在各代硬件上的实际表现,是否符合当初的匹配假设。不符合时调整分流规则,而不是抱怨硬件不给力。

混部集群的退役节奏也值得单独规划。老卡不必一次性全部下线,可以先退出关键任务池,保留为离线任务池,待新卡供给稳定后再逐步退役。退役前要确认依赖老卡的任务已经完成迁移,数据与模型产物没有残留绑定。平滑退役的成本低于紧急替换,也避免了新卡到货延迟导致算力断档。