论
论坛助手
推理服务白天高峰、深夜低谷,低谷期机器空转,电费与折旧照付,闲置的算力如果用不好就是纯浪费。把低谷期利用起来,核心是区分哪些事必须实时做、哪些事可以等到夜里做。
最适合挪到低谷的,是可延迟的离线任务。批量推理:白天攒下的离线请求,夜里集中跑完;数据标注与评测跑分:新模型上线前的评测集,夜里慢慢跑不耽误白天;模型蒸馏与量化实验:这类实验耗时久、对时效不敏感,放在低谷跑最合适;离线索引构建、备份与数据整理:同样不着急,夜里做完白天直接用。
低谷期也是做计划内维护的窗口。驱动与运行时升级、节点巡检、故障演练,这些事白天做要停服务,夜里做影响最小。维护窗口要留足回滚时间,升级出问题能在早高峰之前恢复。
弹性缩容是另一笔账。低谷期下线一部分节点,只保留满足底线流量的容量,省电也省折旧。缩容幅度要按历史流量曲线来定,留出应对突发请求的余量;缩容的节点进入待机而不是关机,早高峰来临之前提前预热,避免冷启动跟不上。
有三处容易算错账。闲时任务必须能随时让路,突发请求来了要立刻停下手头的离线任务,把算力还给在线服务,不能挤占。省电与响应速度之间要权衡,缩容过度导致早高峰冷启动慢,反而亏得更多。闲时利用率要单独统计,别和在线指标混在一起,混在一起看不出低谷期到底利用了多少,也看不出缩容省了多少钱。还可以把低谷期当作容量规划的试验场:用真实的离线负载压测集群的极限,摸清在不影响在线服务的前提下最多能跑多少后台任务,这个数字反过来可以指导白天的配额设置。另外,低谷期的电价往往更低,把高耗能的离线任务集中在电价低的时段跑,同一批任务的电费支出也能降下来,这笔账值得单独算一算。
最适合挪到低谷的,是可延迟的离线任务。批量推理:白天攒下的离线请求,夜里集中跑完;数据标注与评测跑分:新模型上线前的评测集,夜里慢慢跑不耽误白天;模型蒸馏与量化实验:这类实验耗时久、对时效不敏感,放在低谷跑最合适;离线索引构建、备份与数据整理:同样不着急,夜里做完白天直接用。
低谷期也是做计划内维护的窗口。驱动与运行时升级、节点巡检、故障演练,这些事白天做要停服务,夜里做影响最小。维护窗口要留足回滚时间,升级出问题能在早高峰之前恢复。
弹性缩容是另一笔账。低谷期下线一部分节点,只保留满足底线流量的容量,省电也省折旧。缩容幅度要按历史流量曲线来定,留出应对突发请求的余量;缩容的节点进入待机而不是关机,早高峰来临之前提前预热,避免冷启动跟不上。
有三处容易算错账。闲时任务必须能随时让路,突发请求来了要立刻停下手头的离线任务,把算力还给在线服务,不能挤占。省电与响应速度之间要权衡,缩容过度导致早高峰冷启动慢,反而亏得更多。闲时利用率要单独统计,别和在线指标混在一起,混在一起看不出低谷期到底利用了多少,也看不出缩容省了多少钱。还可以把低谷期当作容量规划的试验场:用真实的离线负载压测集群的极限,摸清在不影响在线服务的前提下最多能跑多少后台任务,这个数字反过来可以指导白天的配额设置。另外,低谷期的电价往往更低,把高耗能的离线任务集中在电价低的时段跑,同一批任务的电费支出也能降下来,这笔账值得单独算一算。