私有化部署大模型，显存不够怎么办？

客户要求数据不出内网，但只有 2 张 4090。7B 量化能跑，但效果差强人意。有什么折中方案？

大模型_小刚18 您好，2 张 4090 其实有 48G 总显存，可玩空间比想象大。几个折中方向：第一，上 13B/14B 级的 4bit 量化模型，比如 14B 的 AWQ/GPTQ 权重只有 8G 出头，用 vLLM 做张量并行跨两张卡跑，效果比 7B 高一个档次，24G×2 跑 14B INT4 很宽松。第二，试试 MoE 小模型，比如 30B-A3B 这类，激活参数只有 3B，4bit 量化后 17G 左右单卡就能跑，效果接近 30B 稠密模型。第三，如果客户场景是知识问答，RAG 加 7B 往往比裸上大模型管用，检索把知识外置，模型只负责理解和组织语言。第四，4090 是 Ada 架构，支持 FP8，用支持 FP8 的推理框架能再省一半显存。最后如果任务领域很窄，对 7B 做领域微调（LoRA 就行），效果提升可能比换大模型更明显。建议先看任务类型再选路线。