人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
广告位招商
A1 · 全站顶部通栏(所有页面) · 1100×90 · ¥500/月
联系 ads@asibbs.com
了解详情 →
首页
/
站务公告
/ 正文
大模型量化到 INT4,精度损失到底多大?
CUDA开发_老陈 发表于 2026-10-27 02:15 · 4 次浏览 · 0 条回复
C
CUDA开发_老陈
楼主
#1楼
2026-10-27 02:15
W4A16 量化省显存很明显,但长文本任务掉点严重。大家线上用的量化方案,MMLU 掉点一般控制在多少以内算可接受?AWQ 和 GPTQ 实测差多少?
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册