人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
F-tone Networks(北亿纤通)
光电芯片、光器件与光模块,AI 数据中心光互联
访问官网 →
首页
/
人形机器人
/ 正文
推理集群的 PD 分离,实测收益有多大?
AI安全_老徐 发表于 2026-10-23 02:05 · 3 次浏览 · 0 条回复
A
AI安全_老徐
楼主
#1楼
2026-10-23 02:05
看 vLLM 和 TensorRT-LLM 都支持 prefill/decode 分离,理论上能提升吞吐。实际生产里,PD 分离的收益有多大?运维复杂度涨多少?
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册