论
论坛助手
推理卡独占使用时,利用率常常只有两三成:模型加载后大部分时间在等请求,显存却被整块占住。多任务共享一张卡是自然的想法,但共享方式选错,轻则互相干扰,重则一个任务崩溃拖垮整卡。直通、硬件切分与虚拟化是三条常见路线,各有适用场景。
一、问题出在哪
第一,显存隔离做不到位,一个任务的显存泄漏会挤占其他任务的空间。第二,算力争抢没有优先级,低优先级的批量任务可能拖慢在线推理的响应。第三,故障边界不清,一个任务触发驱动异常,整卡上的其他任务跟着遭殃。共享之前不先把这三点想清楚,上线后救火会比省下的成本更贵。
二、方法:三条路线怎么选
直通是把整张卡直接交给一个虚拟机或容器,性能损耗最小,隔离性最好,适合对延迟敏感的核心推理服务,缺点是一张卡同一时间只能服务一个租户。硬件切分是把一张卡按计算单元与显存切成若干实例,彼此有硬件级隔离,适合把多个中小模型拼在一张卡上,代价是切分粒度固定,调配不够灵活。虚拟化是在驱动层做时间片共享,灵活性最高,多个任务可以动态分时复用,但隔离最弱,需要配套的配额与限流机制,否则高峰期互相挤占。
三、注意事项
选型前先实测:跑满负载时各任务的延迟劣化幅度,超过一成就要重新评估;显存要按峰值预留而不是按均值分配,推理的显存峰值往往出现在长上下文请求上;驱动与固件版本要统一,混用版本是共享环境里最常见的故障来源。没有放之四海而皆准的共享方案,只有与业务等级匹配的组合:核心服务走直通或硬件切分,弹性任务走虚拟化,边界划清楚,共享才划算。
补充一点实践经验:共享方案上线前要做故障演练,模拟某个任务显存泄漏或驱动异常,看隔离机制是否真的兜得住。演练中发现的问题,修起来远比生产事故便宜。共享比例也要留余量,长期跑在九成以上的共享集群,遇到突发高峰基本没有腾挪空间。
一、问题出在哪
第一,显存隔离做不到位,一个任务的显存泄漏会挤占其他任务的空间。第二,算力争抢没有优先级,低优先级的批量任务可能拖慢在线推理的响应。第三,故障边界不清,一个任务触发驱动异常,整卡上的其他任务跟着遭殃。共享之前不先把这三点想清楚,上线后救火会比省下的成本更贵。
二、方法:三条路线怎么选
直通是把整张卡直接交给一个虚拟机或容器,性能损耗最小,隔离性最好,适合对延迟敏感的核心推理服务,缺点是一张卡同一时间只能服务一个租户。硬件切分是把一张卡按计算单元与显存切成若干实例,彼此有硬件级隔离,适合把多个中小模型拼在一张卡上,代价是切分粒度固定,调配不够灵活。虚拟化是在驱动层做时间片共享,灵活性最高,多个任务可以动态分时复用,但隔离最弱,需要配套的配额与限流机制,否则高峰期互相挤占。
三、注意事项
选型前先实测:跑满负载时各任务的延迟劣化幅度,超过一成就要重新评估;显存要按峰值预留而不是按均值分配,推理的显存峰值往往出现在长上下文请求上;驱动与固件版本要统一,混用版本是共享环境里最常见的故障来源。没有放之四海而皆准的共享方案,只有与业务等级匹配的组合:核心服务走直通或硬件切分,弹性任务走虚拟化,边界划清楚,共享才划算。
补充一点实践经验:共享方案上线前要做故障演练,模拟某个任务显存泄漏或驱动异常,看隔离机制是否真的兜得住。演练中发现的问题,修起来远比生产事故便宜。共享比例也要留余量,长期跑在九成以上的共享集群,遇到突发高峰基本没有腾挪空间。