训练时砸算力，推理时也要花算力——这就是“推理时扩展”（test-time compute，也叫 inference-time scaling）的基本主张。思路很直白：给模型更多的“思考”预算，换取更好的答案质量。对很多团队来说，这是“不重新训练也能变强”最现实的一条路。

## 三类常见做法

**1. 拉长思维链**

让模型在输出最终答案之前，进行更长的逐步推理。复杂数学推导、代码调试等多步任务受益最明显；简单问答硬拉长反而是浪费，还可能引入新的幻觉。

**2. 多次采样 + 验证器**

对同一问题采样多个候选答案，再用验证器挑出最优。验证器可以是规则校验、单元测试，也可以是另一个模型打分。关键点在于：验证器的质量决定了整个方法的上限——验证器不靠谱，采样再多也白搭。

**3. 自适应预算分配**

不是每道题都值得“慢思考”。按问题难度动态分配推理预算：简单题快速作答，难题才开足马力。常见做法是用轻量分类器或让模型自评先估计难度，再决定分配多少预算。

## 落地时的三笔账

- **延迟**：推理时扩展直接拉长用户等待时间。交互式场景（客服对话、结对编程）对延迟敏感，扩展预算要克制；离线批处理任务则可以放开手脚。
- **成本**：Token 就是钱。多次采样意味着成本成倍上涨，上线前要算清楚：多花的 Token 有没有换来可衡量的质量提升。
- **收益递减**：预算翻倍，质量未必翻倍。多数任务都存在一个“甜点”区间，超过之后投入产出比急剧恶化，务必先做预算-质量曲线实测再定参数。

## 实践建议

1. 先给验证器投资，再谈扩展——没有可靠的验证，多采样只是多花钱。
2. 按任务分级配置预算，而不是全站一刀切。
3. 把“思考过程”和“最终答案”分开计费、分别监控，方便定位成本黑洞。

推理时扩展不是银弹，但它是目前性价比最高的“不训练也能变强”的手段之一，关键在于把预算花在刀刃上。