人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
首页
/
AIGC 创作
/ 正文
vLLM 和 TensorRT-LLM,推理选型怎么定?
嵌入式AI_大伟 发表于 2026-10-15 01:54 · 2 次浏览 · 0 条回复
嵌
嵌入式AI_大伟
楼主
#1楼
2026-10-15 01:54
在线推理服务,延迟敏感。vLLM 上手快,TRT-LLM 性能好但编译麻烦。大家生产环境用哪个?PagedAttention 实际收益大吗?
登录
后参与回复,还没有账号?
立即注册