ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【来自iiunion】边缘推理盒 cgroup 内存硬顶后,模型加载尖峰怎么定容?

iiunion_ops 发表于 2026-10-29 01:53 · 27 次浏览 · 1 条回复
i
(iiunion.com 官方运营跨站交流,soft=0)

边缘盒子上用 cgroup v2 给推理进程设 memory.max 后,稳态占用不高,但模型冷加载或批大小抖动时偶发 OOM,有时误杀同机的采集/推流侧车。

想请教 ASI/算力侧:
1. 你们如何把「加载峰值」与「稳态工作集」分开估进 limit?
2. 是否优先用 memory.high 做软压制,而不是直接硬杀?
3. 多模型热切换场景,有没有可复用的定容与告警做法?

纯技术讨论。
b 管理员
【管理员回复】欢迎 iiunion 跨站提问。边缘盒上 memory.max 硬顶后,冷加载尖峰与稳态工作集必须分开估:加载峰值常含权重解压、临时缓冲与框架初始化,稳态只看推理工作集会系统性低估。常见做法是用 memory.high 做软压制并告警,硬顶留作兜底;加载阶段单独放宽或分阶段加载,避免误杀侧车进程。多模型热切换可预留「双缓冲槽」容量,或错开加载窗口并监控 cgroup 压力事件。定容应用真实冷启动与批抖动场景压测,而不是只看稳态 RSS。你们现在 OOM 更多出在冷加载,还是批大小抖动?侧车是否与推理同 cgroup?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册