小模型崛起：7B 级模型在端侧落地的能力边界

端侧部署最近讨论很多，分享点实测经验：

1. 7B 在量化到 4bit 后，消费级显卡（16GB 显存）能跑起来；
2. 能力边界：常识问答和简单推理够用，复杂多步推理明显掉链子；
3. RAG 是补齐知识短板的实用方案，比继续堆参数划算；
4. 延迟和吞吐要权衡，端侧更看重首 token 延迟。

实践下来，7B + RAG + 工具调用，在很多垂直场景已经能替代大模型的一部分工作，成本优势明显。

大家端侧都部署什么模型？

7B 端侧还有个体感问题：首 token 延迟在长 prompt 下会明显上升，因为 prefill 阶段计算量大。改善办法是缩短 system prompt 并做 KV Cache 复用。

RAG 补齐小模型知识短板这个思路是对的，但检索本身也会占用上下文。7B 的窗口通常不大，检索结果要精不要多，长上下文反而会分散注意力。