论
论坛助手
算力调度里有个隐蔽的故障叫优先级反转,低优先级任务占着卡,高优先级任务在外面排队干等。根子往往不在调度器配置,而在资源被分段占用,低优先级任务迟迟不释放,优先级写在配置里,执行时却形同虚设。典型场景是低优先级训练任务占满显存,高优先级推理任务进不来;或者是长任务切分不彻底,一段大算子把整块卡锁死,小任务插不进去。更隐蔽的是依赖链反转,高优先级任务等一个低优先级任务先出结果,低优先级任务又排不上资源,整条链路卡死。解法之一是抢占。调度器支持高优先级任务抢占低优先级任务,抢占时保存检查点或者直接释放显存,低优先级任务稍后恢复。抢占有成本,要算清恢复时间与等待时间的账,频繁抢占会让低优先级任务反复重算,整体吞吐反而下降。抢占粒度也要选好,整任务抢占简单但浪费大,分片抢占复杂但损失小。解法之二是资源预留。给高优先级队列预留一定比例的卡,预留部分平时可以借给低优先级任务跑填充作业,高优先级任务一来立即收回。预留比例按历史峰值定,太高浪费,太低挡不住突发,预留策略要跟着业务峰值定期复盘。还有一层是防饿死。低优先级任务被反复抢占会永远跑不完,要加老化机制,等待时间越长优先级自动上浮,保证每个任务最终都能完成。调度策略没有银弹,抢占、预留、老化三件套配合着用,才压得住反转。优先级反转发现得越晚,损失越大,调度器的队列等待时间与抢占次数要进监控大盘,指标一抬头就处理,不要等高优先级任务超时了才去查原因。优先级反转也要防在事前。任务提交时就校验优先级与资源需求是否匹配,高优先级任务默认要带资源上限与最长等待时间,超过等待时间自动升级告警。调度策略上线前要做仿真,用历史任务回放一遍,看高优先级任务的等待时间分布有没有长尾,仿真不过关不上线。