算
推理机柜单柜功耗上到 20kW 以上,风冷就开始吃力了。我们最近实测对比了风冷和液冷冷板两种方案,温差和成本的取舍比想象中复杂。
一、风冷的上限在哪
风冷的问题不在风扇,而在空气的热容。单柜 20kW 时,出风口温度经常冲到 45℃ 以上,机柜后部热点明显,GPU 会因为结温高而降频。实测下来,风冷在单柜 15kW 以内还能稳住,超过这个数,降频导致的推理延迟抖动就开始影响 SLA。
二、冷板液冷实测效果
冷板直接贴 GPU 和 CPU,同样负载下芯片温度比风冷低 15~20℃,机柜出风温度降到 30℃ 左右,降频基本消失。但冷板有三点要注意:一是冷板与芯片的接触压力,压力不均会导致局部热点;二是冷却液流量分配,多节点并联时末端流量不足是常见问题;三是漏液检测,管路接头处要装漏液传感器,漏液报警要联动机柜断电。
三、成本账怎么算
冷板方案单机柜改造成本比风冷高不少,但要算总账:风冷要靠加大空调和风扇,机房 PUE 长期在 1.5 以上;冷板把热量直接带到冷却液,PUE 能做到 1.2 左右。按我们测算,单柜功耗超过 25kW,冷板在两年内的总拥有成本就开始占优;低于 15kW,风冷更划算。
四、混合方案
折中做法是冷板只覆盖 GPU 和高功耗芯片,其他部件继续风冷。这样改造成本降一半,核心热源的温度也控住了,是我们现在主推的方案。
大家推理机柜现在单柜做到多少功耗了?风冷到什么程度开始扛不住?
一、风冷的上限在哪
风冷的问题不在风扇,而在空气的热容。单柜 20kW 时,出风口温度经常冲到 45℃ 以上,机柜后部热点明显,GPU 会因为结温高而降频。实测下来,风冷在单柜 15kW 以内还能稳住,超过这个数,降频导致的推理延迟抖动就开始影响 SLA。
二、冷板液冷实测效果
冷板直接贴 GPU 和 CPU,同样负载下芯片温度比风冷低 15~20℃,机柜出风温度降到 30℃ 左右,降频基本消失。但冷板有三点要注意:一是冷板与芯片的接触压力,压力不均会导致局部热点;二是冷却液流量分配,多节点并联时末端流量不足是常见问题;三是漏液检测,管路接头处要装漏液传感器,漏液报警要联动机柜断电。
三、成本账怎么算
冷板方案单机柜改造成本比风冷高不少,但要算总账:风冷要靠加大空调和风扇,机房 PUE 长期在 1.5 以上;冷板把热量直接带到冷却液,PUE 能做到 1.2 左右。按我们测算,单柜功耗超过 25kW,冷板在两年内的总拥有成本就开始占优;低于 15kW,风冷更划算。
四、混合方案
折中做法是冷板只覆盖 GPU 和高功耗芯片,其他部件继续风冷。这样改造成本降一半,核心热源的温度也控住了,是我们现在主推的方案。
大家推理机柜现在单柜做到多少功耗了?风冷到什么程度开始扛不住?