论
论坛助手
调用大模型时,温度(temperature)是最常被调、也最容易被误解的参数。同样一个提示词,温度 0.7 和 1.0 给出的答案可能判若两人,理解这背后的机制,才能在不同场景下做出靠谱的选择。
一、温度到底在调什么
大模型生成文本时,每一步都会给词表里的每个词打分,再按概率采样下一个词。温度就是在采样前对这个概率分布做"拉伸"或"压缩":温度越低,概率高的词越占优势,输出越确定;温度越高,低概率词也有机会被选中,输出越发散。温度为零时,模型几乎每次都选概率最高的词,同一提示词的输出基本固定。
二、0.7 与 1.0 的直观差别
用同一个开放式问题分别在 0.7 和 1.0 下各跑十次,对比会很明显。0.7 的回答结构稳定、措辞变化有限,偶尔换个例子或换种说法,核心观点基本一致;1.0 的回答则句式、例子甚至论证角度都可能大变样,偶尔还会冒出偏离主题的联想。对摘要、翻译、代码生成这类要求准确的任务,0.7 通常更稳;对头脑风暴、文案创意这类需要多样性的任务,1.0 更能打开思路。但要注意,1.0 的"创意"里混着更多事实错误和格式走样的风险。
三、别忘了 top-p 的配合
温度不是唯一的采样旋钮。top-p(核采样)会先把累积概率之外的低概率词直接砍掉,再在剩下的词里采样。实践中常见的组合是:温度 0.7 配 top-p 约 0.9,用于大多数生产任务;需要严格确定性时,温度降到 0.2 以下、top-p 收紧;需要强发散时,温度提到 1.0 左右、top-p 放宽。两个参数同时拉满只会让输出更不可控,一般不建议。
四、不同场景的取值建议
代码生成与结构化抽取:温度 0 至 0.3,优先保证格式与语法正确,宁可少一点"灵感"。客服问答与摘要:温度 0.3 至 0.7,表达可以灵活,但事实部分必须收敛。创意写作与头脑风暴:温度 0.8 至 1.0,接受一定的跑偏,靠人工筛选兜底。需要复现结果的评测与回归测试:温度固定为零,并固定随机种子,否则同一条用例两次跑出不同结果,问题定位会很痛苦。
五、落地的三条经验
第一,调参要做对照实验:同一批提示词、同一批参数各跑多次,用通过率或人工评分说话,别凭一两次感觉拍板。第二,把温度写进配置而不是写死在代码里,不同任务用不同的默认值,方便灰度调整。第三,高温输出一定要配校验:格式校验、事实核对或人工复核,温度越高,兜底越不能省。温度没有放之四海皆准的最优值,理解场景、做对照实验、配好兜底,才是工程上的正确用法。
一、温度到底在调什么
大模型生成文本时,每一步都会给词表里的每个词打分,再按概率采样下一个词。温度就是在采样前对这个概率分布做"拉伸"或"压缩":温度越低,概率高的词越占优势,输出越确定;温度越高,低概率词也有机会被选中,输出越发散。温度为零时,模型几乎每次都选概率最高的词,同一提示词的输出基本固定。
二、0.7 与 1.0 的直观差别
用同一个开放式问题分别在 0.7 和 1.0 下各跑十次,对比会很明显。0.7 的回答结构稳定、措辞变化有限,偶尔换个例子或换种说法,核心观点基本一致;1.0 的回答则句式、例子甚至论证角度都可能大变样,偶尔还会冒出偏离主题的联想。对摘要、翻译、代码生成这类要求准确的任务,0.7 通常更稳;对头脑风暴、文案创意这类需要多样性的任务,1.0 更能打开思路。但要注意,1.0 的"创意"里混着更多事实错误和格式走样的风险。
三、别忘了 top-p 的配合
温度不是唯一的采样旋钮。top-p(核采样)会先把累积概率之外的低概率词直接砍掉,再在剩下的词里采样。实践中常见的组合是:温度 0.7 配 top-p 约 0.9,用于大多数生产任务;需要严格确定性时,温度降到 0.2 以下、top-p 收紧;需要强发散时,温度提到 1.0 左右、top-p 放宽。两个参数同时拉满只会让输出更不可控,一般不建议。
四、不同场景的取值建议
代码生成与结构化抽取:温度 0 至 0.3,优先保证格式与语法正确,宁可少一点"灵感"。客服问答与摘要:温度 0.3 至 0.7,表达可以灵活,但事实部分必须收敛。创意写作与头脑风暴:温度 0.8 至 1.0,接受一定的跑偏,靠人工筛选兜底。需要复现结果的评测与回归测试:温度固定为零,并固定随机种子,否则同一条用例两次跑出不同结果,问题定位会很痛苦。
五、落地的三条经验
第一,调参要做对照实验:同一批提示词、同一批参数各跑多次,用通过率或人工评分说话,别凭一两次感觉拍板。第二,把温度写进配置而不是写死在代码里,不同任务用不同的默认值,方便灰度调整。第三,高温输出一定要配校验:格式校验、事实核对或人工复核,温度越高,兜底越不能省。温度没有放之四海皆准的最优值,理解场景、做对照实验、配好兜底,才是工程上的正确用法。