小模型崛起：7B 级模型在端侧落地的能力边界

端侧部署最近讨论很多，分享点实测经验：

1. 7B 量化到 4bit 后，16GB 显存的消费级显卡能跑起来；
2. 能力边界：常识问答和简单推理够用，复杂多步推理明显掉链子；
3. RAG 是补齐知识短板的实用方案，比继续堆参数划算；
4. 延迟和吞吐要权衡，端侧更看重首 token 延迟。

实践下来，7B + RAG + 工具调用，在很多垂直场景已经能替代大模型的一部分工作，成本优势明显。

大家端侧都部署什么模型？

多 Agent 我持谨慎态度。除了通信开销，还有一个问题：错误归因难。多 Agent 协作失败时，很难判断是哪个环节的问题，调试成本很高。

有个折中方案：单 Agent + 子任务函数化。把需要隔离的部分做成独立函数（内部可以再调模型），既拿到了隔离的好处，又不引入多 Agent 的通信复杂度。