温度和 Top-p 什么时候该动,什么时候不该动
江南 · · 约 2342 字
温度和 Top-p 只决定模型怎样使用它已经给出的概率,不决定它知不知道这件事。温度把下一个词元的分布调得更尖或更平;Top-p 先丢掉累计起来才占一小部分概率的尾部,再在剩下的候选里抽样。两个旋钮都不会把材料里没有的事实补进来。
分布从何而来,见大模型如何生成一段回答。本文只回答操作问题:什么任务该动它们,什么任务不该动。
两个旋钮分别碰哪里
模型每次先给出词表上的概率,再由解码策略选一个词元写下来。温度低时,高概率词元更占优势,输出更稳,也更接近训练里常见的说法。温度高时,分布更平,原本不太可能的词元更容易被抽到,文字更散,也更容易离开你规定的格式。
Top-p 不改变“常见说法有多常见”这条曲线的形状,它只是把概率最低的那一截候选先排除。阈值设得很低,候选集合小,结果更集中;设得接近 1,几乎等于不排除。它和温度都能让输出变散,但途径不同。所以你不能把“我把两个都调高了一点”理解成同一种改动。
有的接口还提供 Top-k,只保留概率最高的 k 个候选。它同样是在缩小抽样范围,不增加知识。你的接口若没有这个参数,不必为了对齐别人的配置去找替代数字。
这些任务不要为了文风去调
下面几类任务,对错标准在材料或规则里,不在措辞是否新鲜。把温度维持在低位,Top-p 也不要收得过窄到经常重复、或放得过宽到开始改写事实。
- 从给定文本里抽出价格、日期、条款编号、人名。多出来的一个数字就是错。
- 在固定标签之间分类,例如“可发布 / 需修改 / 缺少来源”。你要的是同一输入得到同一标签。
- 按原文改写语气,但不得增删事实。温度一高,模型更容易补上一个原文没有的原因。
- 要留给同事复核的格式:固定的小标题、固定的字段。格式漂移会让后面的规则校验失效。
这类任务如果结果不好,先看材料里有没有那句话、指示是否互相矛盾,而不是先把温度从 0.2 调到 0.8。调高以后,错误会更分散,更难判断是材料的问题还是抽样的问题。
只有“准备挑选”时才提高温度
提高温度的合理场景很窄:你确实想要几份不同的草稿,并且有人会按清单挑选,或者有规则能淘汰不合格的那几份。例如同一个产品说明,先生成三则不同的标题,再由人选择哪一则没有夸大功能。此时温度是在购买多样性,不是在购买正确性。
没有挑选步骤时,多样性只是噪声。客服回复、对外公告、价格说明,都不该靠高温度“写得更生动”。生动和越出材料往往是同一次抽样带来的。
若你提高了温度,就把次数定死,例如三份,而不是一直点到出现一句你喜欢的话。喜欢不是标准。标准仍是:有没有增加材料里不存在的承诺,有没有丢掉必须保留的条件。挑选之后,把选中的那一版交回低温度的后续步骤,例如提取要点或套进固定版式。不要让高温度的设置一直留到发布前的最后一次生成。
一次只动一个,并记下输入
比较两次输出之前,固定模型、固定材料、固定指示,只改温度或只改 Top-p。同时改两个,再加上改了一句提示词,你无法决定下次该撤回哪一项。
把当次的材料、指示和参数与输出存在一起。温度接近 0 时结果通常更稳,但仍不要把“以后一定能逐字复现”写进流程。实现细节、工具返回和隐藏的系统指示都可能让同一配置产生差别。需要追责的文本,以保存下来的那一次输出为准。
低温度也不能代替核实。分布再尖,模型仍可能把一个高概率却错误的说法写得很肯定。怎样在发布前处理这种错误,见模型幻觉通常从哪来。若你真正想约束的是格式和禁区,优先写清规则,并配上与主题无关的短例子,而不是用温度去碰运气,见该给规则还是该给例子。
同一则材料,看你在买什么
材料只有一句:“标准版包含 3 个席位,不含单独的管理席。”任务是把席位数填进表格,不得改写范围。这时提高温度买不到更正确的 3。它增加的是写出别的整数、或补上材料没提的价格的机会。参数保持低,错了就检查材料有没有被截断、指示有没有另起一个“请估算”的任务。
若任务改成“在不增加功能承诺的前提下,给这句写三个不同的标题”,提高温度才买得到你要的东西:三份不同的措辞。三份都要再核对,有没有把“不含管理席”写丢,有没有写成“适合所有团队”。选中一句之后,后续的排版和字段提取回到低温度。不要让为了标题而调高的设置残留在发布步骤里。
每次试验留下四行就够:材料编号、模型名、温度、Top-p,以及输出编号。没有这四行,第二天你只能靠感觉说“好像调过”。感觉不能告诉你该撤回哪一次改动。
有的接口不提供温度,或只提供“更稳定 / 更有创意”这类无法对应到数值的开关。把开关名称和当次选择记下来,不要自行换算成一个温度数字写进文档。换算没有依据,下次换接口时还会误导。接口若把抽样完全藏起来,就不要在流程里写“将温度设为某值”,改为写“使用该接口的稳定输出,不使用它的多样化草稿”。做不到这一点时,就把多样化草稿挡在发布步骤之外,只允许人工选定的那一版继续往下走。
低温度下若已经写出材料里没有的数字,继续把温度往下调没有意义。那个数字来自高概率的常见说法或互相矛盾的指示,不是来自“还不够稳定”。此时回到材料编号,确认那一句是否存在;不存在就删掉输出,并改指示,而不是再跑一轮更低的温度。温度试验只回答“抽样变了没有”。它回答不了“这句话该不该留下”。
常见问题
温度调到 0,是不是每次都会得到同一段话?
会稳定很多,因为解码更接近每次都取当前概率最高的词元。系统指示、工具返回、浮点实现和并行请求仍可能带来差别。需要审计时,保存当次的输入和输出,不要假设以后一定能复现。
Top-p 和温度应该一起调吗?
不要在同一次试验里一起调。先固定 Top-p,只观察温度;或者反过来。你要知道变化来自哪一个旋钮,否则无法决定下一次该撤回什么。
提取价格或日期时,把温度调高一点会不会更“聪明”?
不会。这类任务的对错取决于材料里有没有那个值。调高温度只是让更少见的词更容易被抽到,价格和日期更容易被写成一个顺口但不在材料里的数。