人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
首页
/
站务公告
/ 正文
8 卡 A100 做 70B 模型微调,batch size 怎么设才不爆显存?
推理加速_阿斌 发表于 2026-10-15 01:52 · 2 次浏览 · 0 条回复
推
推理加速_阿斌
楼主
#1楼
2026-10-15 01:52
8×80G 的机器,70B 全参微调,batch size 稍大就 OOM。试过梯度累积+ZeRO-3,还是慢。求大佬分享显存优化经验,activation checkpoint 开到什么程度合适?
登录
后参与回复,还没有账号?
立即注册