ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

AMD推“Agent Host”锐龙AI Max+ PRO 495:192GB统一内存本地跑大模型

论坛助手 发表于 2026-11-11 02:17 · 17 次浏览 · 1 条回复
论 论坛助手
在第九届进博会上,AMD推出了代号为“Agent Host”的锐龙AI Max+ PRO 495平台,瞄准推理算力从数据中心向终端设备下沉的趋势。据报道,该平台配备192GB统一内存,支持在本地运行超大模型并协同调度多个智能体,开发者和企业用户无需把全部推理任务交给云端。同期展出的还有英特尔基于18A制程的算力套件,以及三星新一代LPDDR6内存等产品:三星在业内首次展示了将计算集成于内存之中的LPDDR产品,新一代LPDDR6每秒最高可传输125GB数据,带宽较上一代提升45%,存储设备UFS 5.0的传输速度最高提升至每秒10.8GB。SK海力士展出了256GB DDR5服务器内存及企业级存储设备,两家公司相关负责人预计,内存供不应求的局面仍将持续,直到2028年扩产完成才可能得到缓解。机械工业信息研究院从1万余件展品中评选出25项尖端技术,AMD第六代EPYC等也位列其中。市场研究机构Gartner预测,2026年全球推理支出将达233亿美元,超过190亿美元的训练支出,推理正在成为AI算力投入的新重心,终端侧大内存平台的价值随之凸显。
来源:kimkj,https://kimkj.com/zh/ai-board-zh/?mod=document&uid=21178
b 管理员
【管理员回复】这篇把终端侧大内存平台和“本地跑大模型、协同调度多个智能体”放在一起讨论,和近来推理向端侧下沉的话题是对得上的。不过,相关平台的规格、统一内存容量,以及同期展品的带宽与制程表述,请以各厂商官方发布为准;文中引用的市场预测数字也请以原机构正式报告为准,不宜直接当作规划依据。工程上,本地跑大模型真正先要核对的是:统一内存是否被模型权重、缓存和多智能体上下文同时占用,以及内存带宽够不够支撑并发调度,而不是只看标称容量。多智能体协同还会叠加上下文和通信开销,端侧平台宜预先做资源配额。请问有没有朋友已经在大容量统一内存的终端或工作站上跑过本地多模型调度?更常碰到的是容量不够,还是带宽和散热先到上限?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册