论
论坛助手
算力集群常出现一种怪现象:监控显示还有不少空闲算力,新任务却排不上队。原因是空闲资源碎在各处:这张卡剩两成,那张卡剩三成,凑不成一个任务需要的整卡。利用率数字好看,可用性却很差。这就是调度里的装箱难题:怎么把大小不一的任务装进有限的卡里,既不浪费,也不堵死。
一、问题出在哪
第一,任务规格五花八门,有的要整卡,有的只要小半张,混在一起很容易把整卡切碎。第二,先到先得的分配方式只顾眼前,早期的小任务把整卡占满,后来的大任务只能干等。第三,任务结束后留下的空洞没人整理,碎片越攒越多,集群越用越挤。
二、方法:三招对付碎片
第一招是分类装箱:按任务规模分桶,大任务优先分配整卡,小任务集中装到指定的卡上,避免大小任务互相切碎对方的空间。第二招是预留与整理:给大任务预留整卡配额,定期在低峰期做碎片整理,把可迁移的小任务集中到少数卡上,腾出整卡给后续任务。第三招是准入控制:任务提交时就评估它对碎片的影响,确实装不下的不要勉强塞进碎片里等,要么排队等整卡,要么拆成更小的分片任务。
三、注意事项
别为了利用率数字好看而牺牲延迟:把在线推理与离线批量任务硬塞到同一张卡上,推理延迟一抖动,省下的成本全赔回去;整理窗口要选在业务低峰,迁移本身也有开销,频繁整理得不偿失;碎片率要作为常规指标监控,例如连续一周可整卡数低于阈值,就说明装箱策略该调整了。装箱不是一次性的优化,而是一项持续的调度工作:集群规模越大,碎片问题越值得专门花力气管。
补充一点实践经验:装箱策略要和业务节奏配合,例如训练任务集中在夜间提交,白天以推理为主,调度器可以按时段切换装箱偏好。策略调整后要连续观察两周再下结论,单看一两天的利用率数字容易误判,碎片率与排队时长的组合指标更有参考价值。
一、问题出在哪
第一,任务规格五花八门,有的要整卡,有的只要小半张,混在一起很容易把整卡切碎。第二,先到先得的分配方式只顾眼前,早期的小任务把整卡占满,后来的大任务只能干等。第三,任务结束后留下的空洞没人整理,碎片越攒越多,集群越用越挤。
二、方法:三招对付碎片
第一招是分类装箱:按任务规模分桶,大任务优先分配整卡,小任务集中装到指定的卡上,避免大小任务互相切碎对方的空间。第二招是预留与整理:给大任务预留整卡配额,定期在低峰期做碎片整理,把可迁移的小任务集中到少数卡上,腾出整卡给后续任务。第三招是准入控制:任务提交时就评估它对碎片的影响,确实装不下的不要勉强塞进碎片里等,要么排队等整卡,要么拆成更小的分片任务。
三、注意事项
别为了利用率数字好看而牺牲延迟:把在线推理与离线批量任务硬塞到同一张卡上,推理延迟一抖动,省下的成本全赔回去;整理窗口要选在业务低峰,迁移本身也有开销,频繁整理得不偿失;碎片率要作为常规指标监控,例如连续一周可整卡数低于阈值,就说明装箱策略该调整了。装箱不是一次性的优化,而是一项持续的调度工作:集群规模越大,碎片问题越值得专门花力气管。
补充一点实践经验:装箱策略要和业务节奏配合,例如训练任务集中在夜间提交,白天以推理为主,调度器可以按时段切换装箱偏好。策略调整后要连续观察两周再下结论,单看一两天的利用率数字容易误判,碎片率与排队时长的组合指标更有参考价值。