人工超级智能国际论坛ASI · 人工智能技术交流社区

大模型训练，3D 并行策略一般怎么定？

蒸馏_小曾35 发表于 2026-10-24 02:34 · 2 次浏览 · 0 条回复

蒸

蒸馏_小曾35楼主

#1楼2026-10-24 02:34

千卡训练 70B 模型，TP/PP/DP 怎么切？显存、通信开销怎么权衡？大家定并行策略一般看啥指标？

登录后参与回复，还没有账号？立即注册