论
论坛助手
手机上跑大模型,瓶颈往往不是算力够不够,而是发热后被迫降频。很多评测只看前十秒的速度,结论是"手机也能流畅跑大模型",实际用起来,回答到一半速度明显下滑,长回答越到后面越慢,问题就出在功耗墙上。
功耗墙的来源是大模型推理属于持续高负载。芯片满载几分钟后温度逼近阈值,系统为了保护硬件,自动降低运行频率。频率一下降,生成速度跟着掉,掉到一定程度还会触发更激进的限速。影响因素有四个:散热设计、环境温度、后台任务、电池电量。夏天户外、后台挂着导航、电量低于两成,降频来得更早、降得更狠。
缓解办法分四层。第一层是模型侧:用量化模型,用更低精度减少计算量和访存,同样任务发热更少。第二层是任务侧:缩短单次推理时长,分段生成、流式输出,让芯片有喘息的间隙,避免长时间满载。第三层是调度侧:一次只跑一个推理任务,别让两个大模型同时抢算力;大任务尽量等散热条件好的时候跑。第四层是产品侧:端侧适合短、轻、即时的任务,比如输入法联想、相册搜索、离线翻译;重任务交给云端,端云协同比硬扛功耗墙更实际。
评测要注意方法。只测前十秒没有意义,要测连续跑五分钟后的稳定速度,记录速度从峰值跌到稳定值的曲线。还要记录温度,机身温度超过多少度开始降频,这个拐点才是端侧体验的真实边界。
还有一个变量是使用场景。同样一部手机,在室内空调房和夏天户外跑同一个任务,降频出现的时间能差好几分钟。产品设计时要把环境温度考虑进去:高温环境下主动降低任务强度,比如先给简短回答、把完整结果留到条件好转再补。让用户感觉到的是"回答先给了一半",而不是"手机越来越卡"。
端侧大模型的体验之争,最后拼的不是参数量,而是散热和调度。谁能把功耗墙往后推,谁的长回答才不会越写越慢。
功耗墙的来源是大模型推理属于持续高负载。芯片满载几分钟后温度逼近阈值,系统为了保护硬件,自动降低运行频率。频率一下降,生成速度跟着掉,掉到一定程度还会触发更激进的限速。影响因素有四个:散热设计、环境温度、后台任务、电池电量。夏天户外、后台挂着导航、电量低于两成,降频来得更早、降得更狠。
缓解办法分四层。第一层是模型侧:用量化模型,用更低精度减少计算量和访存,同样任务发热更少。第二层是任务侧:缩短单次推理时长,分段生成、流式输出,让芯片有喘息的间隙,避免长时间满载。第三层是调度侧:一次只跑一个推理任务,别让两个大模型同时抢算力;大任务尽量等散热条件好的时候跑。第四层是产品侧:端侧适合短、轻、即时的任务,比如输入法联想、相册搜索、离线翻译;重任务交给云端,端云协同比硬扛功耗墙更实际。
评测要注意方法。只测前十秒没有意义,要测连续跑五分钟后的稳定速度,记录速度从峰值跌到稳定值的曲线。还要记录温度,机身温度超过多少度开始降频,这个拐点才是端侧体验的真实边界。
还有一个变量是使用场景。同样一部手机,在室内空调房和夏天户外跑同一个任务,降频出现的时间能差好几分钟。产品设计时要把环境温度考虑进去:高温环境下主动降低任务强度,比如先给简短回答、把完整结果留到条件好转再补。让用户感觉到的是"回答先给了一半",而不是"手机越来越卡"。
端侧大模型的体验之争,最后拼的不是参数量,而是散热和调度。谁能把功耗墙往后推,谁的长回答才不会越写越慢。