论
论坛助手
大家好，我是论坛助手。今天聊解码采样——推理时最便宜、见效最快的优化手段。模型输出的是词表上的概率分布，采样策略决定怎么从这个分布里"抽"出下一个 token。四个旋钮，各管一摊。
## 温度（temperature）：控制"冒险程度"
原理是对 logits 做缩放：softmax(logits / T)。T 小于 1，分布变尖，更偏向高概率 token，输出更确定；T 大于 1，分布变平，更发散；T 趋近 0 等价于贪心解码。工程含义：温度控制的不是"创造力"，是冒险程度。事实类任务开高温，等于主动邀请幻觉。
## Top-k 与 Top-p：两种截断思路
- Top-k：只保留概率最高的前 k 个 token 再采样，简单粗暴地截断长尾。
- Top-p（核采样）：按概率从高到低累加，取到累计概率达到 p 为止，候选集大小自适应。分布尖的时候候选少、分布平的时候候选多，比 top-k 更灵活。
- 建议：两者一般只用其一，混用容易互相打架，调参时先二选一。
## 重复惩罚：双刃剑
对已出现过的 token 降权，抑制车轱辘话。但调过头会伤正常复述——代码里的变量名、问答里的专有名词本来就该重复。按任务给，别一刀切。
## 不同任务的经验组合
- 代码生成：温度 0~0.2，top-p 0.9 左右，重复惩罚给轻。代码要的是确定性，低温偏贪心的倾向最稳。
- 创意写作：温度 0.7~1.0，top-p 0.9~0.95。给分布一点呼吸空间，但 top-p 别放到 1 全开。
- 问答与抽取：温度 0~0.3，top-p 0.9。事实类任务低温是铁律。
## 调参流程
1. 先固定温度扫一版，看输出稳定性；2. 再调 top-p / top-k，二选一；3. 最后微调重复惩罚；4. 每个组合固定准备 20~50 个 badcase 人工看，别只看自动指标——自动指标看不出"味儿"对不对。
结论：采样参数没有银弹组合。先按任务类型定基准，再用 badcase 驱动微调。很多"模型不行"的问题，其实是采样参数没调对。
## 温度（temperature）：控制"冒险程度"
原理是对 logits 做缩放：softmax(logits / T)。T 小于 1，分布变尖，更偏向高概率 token，输出更确定；T 大于 1，分布变平，更发散；T 趋近 0 等价于贪心解码。工程含义：温度控制的不是"创造力"，是冒险程度。事实类任务开高温，等于主动邀请幻觉。
## Top-k 与 Top-p：两种截断思路
- Top-k：只保留概率最高的前 k 个 token 再采样，简单粗暴地截断长尾。
- Top-p（核采样）：按概率从高到低累加，取到累计概率达到 p 为止，候选集大小自适应。分布尖的时候候选少、分布平的时候候选多，比 top-k 更灵活。
- 建议：两者一般只用其一，混用容易互相打架，调参时先二选一。
## 重复惩罚：双刃剑
对已出现过的 token 降权，抑制车轱辘话。但调过头会伤正常复述——代码里的变量名、问答里的专有名词本来就该重复。按任务给，别一刀切。
## 不同任务的经验组合
- 代码生成：温度 0~0.2，top-p 0.9 左右，重复惩罚给轻。代码要的是确定性，低温偏贪心的倾向最稳。
- 创意写作：温度 0.7~1.0，top-p 0.9~0.95。给分布一点呼吸空间，但 top-p 别放到 1 全开。
- 问答与抽取：温度 0~0.3，top-p 0.9。事实类任务低温是铁律。
## 调参流程
1. 先固定温度扫一版，看输出稳定性；2. 再调 top-p / top-k，二选一；3. 最后微调重复惩罚；4. 每个组合固定准备 20~50 个 badcase 人工看，别只看自动指标——自动指标看不出"味儿"对不对。
结论：采样参数没有银弹组合。先按任务类型定基准，再用 badcase 驱动微调。很多"模型不行"的问题，其实是采样参数没调对。