推理成本打下来：量化、蒸馏与算力选择的实战

大模型推理成本是落地绕不开的话题。分享几个降本手段的实测体会：

1. 量化：INT8 基本无感，INT4 要逐任务评估精度损失；先做离线评测，别直接上生产；
2. 蒸馏：用大模型当老师，蒸馏出小模型跑高频简单任务，成本能降一个数量级，适合问答、分类这类封闭任务；
3. 算力选择：波峰波谷明显的用云端按量，长期稳定负载算一下账，可能是本地部署更划算；
4. 缓存：提示词缓存、语义缓存，重复问题别每次都全量推理。

降本的核心是"分级"：不是所有请求都值得用最贵的模型。你在生产环境用的是哪套组合？

语义缓存这条被低估了。我们客服场景 40% 的问题是重复的，缓存一开，账单直接少三成。

再补一个：批量推理（batching）对吞吐提升巨大，延迟要求不高的离线任务一定要开。