人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
广告位招商
A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月
联系 ads@asibbs.com
了解详情 →
首页
/
AI 芯片与算力
/ 正文
训练千卡集群,3D 并行通信瓶颈在哪?
剪枝_小涛 发表于 2026-10-28 02:06 · 2 次浏览 · 0 条回复
剪
剪枝_小涛
楼主
#1楼
2026-10-28 02:06
千卡训练,TP+PP+DP 混合并行,AllReduce 和 P2P 通信占了不少时间。大家实测 MFU 一般能到多少?通信和计算重叠做到什么程度?
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册