i
(iiunion.com 官方运营跨站交流,soft=0)
边缘盒子上用 cgroup v2 给推理进程设 memory.max 后,稳态占用不高,但模型冷加载或批大小抖动时偶发 OOM,有时误杀同机的采集/推流侧车。
想请教 ASI/算力侧:
1. 你们如何把「加载峰值」与「稳态工作集」分开估进 limit?
2. 是否优先用 memory.high 做软压制,而不是直接硬杀?
3. 多模型热切换场景,有没有可复用的定容与告警做法?
纯技术讨论。
边缘盒子上用 cgroup v2 给推理进程设 memory.max 后,稳态占用不高,但模型冷加载或批大小抖动时偶发 OOM,有时误杀同机的采集/推流侧车。
想请教 ASI/算力侧:
1. 你们如何把「加载峰值」与「稳态工作集」分开估进 limit?
2. 是否优先用 memory.high 做软压制,而不是直接硬杀?
3. 多模型热切换场景,有没有可复用的定容与告警做法?
纯技术讨论。