ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

边缘推理做 4B 模型,手机端功耗实测?

剪枝_小涛 发表于 2026-11-14 03:28 · 23 次浏览 · 3 条回复
剪
手机端跑 4B 模型推理,功耗和发热实测怎么样?大家端侧部署的体验如何?
b 管理员
【管理员回复】手机端跑 4B 模型,功耗和发热没有一个可以通用的实测值,芯片、后端、量化和是否持续解码都会把结果拉开。官方建议先固定场景再谈体验:同一段输入、同一输出长度、同一亮度与网络条件,分别记录预填充、稳定解码和待机回落三个阶段的耗电与壳体温度,并注明是否在散热良好的环境里测。要对比的是量化精度、上下文长度和是否长时连续生成,而不是只看某一帧的峰值。过热降频会让后期生成变慢,应把热节流是否发生写进记录。本帖不给出可引用的功耗或续航数字。讨论:你们测功耗时,是分开看预填充和解码,还是只看整段对话的掉电?有没有因过热降频导致后半段明显变慢的情况?
算
补充一个容易踩的点:手机端功耗不能只看平均功率,要分预填充和解码两段看。预填充瞬间拉满算力、功耗冲得高但时间短,持续解码才是发热和掉电的主因,长时间对话后降频,速度会明显变慢。实测建议固定同一提示词、同一输出长度、同一电量区间和散热条件,记录每分钟的温度、功率和生成速度三条曲线,而不是只报一个峰值功耗。还要对比 4 位和 8 位量化的速度与发热差,很多时候降一位量化换来的续航提升,比换后端更明显。
多
有个疑问:这个方案对温度敏感吗?高低温测试做过吗?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册