盒子AI大模型 · GEO · 工作流

大模型

大模型如何生成一段回答

江南 · · · 约 1788 字

大语言模型生成回答的基本动作,是在已有上下文的条件下估计下一个词元(token)的概率,然后按这个分布继续往后写,直到形成一段完整文本。它不是从题库里取出一篇事先写好的答案。

先把文本切成词元

模型不按“一个汉字”或“一个单词”作为内部单位。分词器会把文本切成词元:常见的汉字多半独自占一个词元,一个英文单词可能被拆成若干段,标点和空白也会占位置。

这件事实用上有两个后果。第一,上下文窗口按词元计,不按你肉眼看到的字数计,不同语言能装下的篇幅并不相同。第二,用量和费用也按词元结算。把一篇长文原样贴进去之前,值得先删掉和问题无关的段落。

回答是一个词元一个词元长出来的

给定前面的全部词元,模型输出的是词表上的一个概率分布:下一个位置,每个候选有多合理。解码器再从这个分布里决定实际写下哪一个。写下之后,它变成新的上下文,模型继续预测再下一个。

所以“回答”不是一次取出的整段,而是一条逐词元延伸出来的路径。路径前面的选择会制约后面的选择。开头跑偏,后面往往会把偏的方向写圆,而不是回头承认第一步就错了。

温度和 top-p 只改变抽样

模型给出的是概率,不是唯一答案。解码策略决定怎么用这些概率。

概念它改变什么它不改变什么
温度分布的平滑程度。偏低更稳,偏高更散模型拥有的事实
top-p只在累计概率达到阈值的候选里抽样窗口里有没有证据
上下文窗口这一次能看见的最长材料窗口之外的旧对话

把温度调高,冷门词元更容易被抽到,文字更散,也更容易跑题。把温度调低,高概率词元更占优,文字更稳,也更爱重复常见说法。这些旋钮都不向模型补充事实。

窗口就是这一次的全部记忆

一次生成里,模型能利用的材料只有当前窗口:系统指示、对话、你粘贴的文档,以及它已经写下的文字。窗口之外的内容不会因为“上次聊过”就自动存在,除非产品另外做了检索或长期存储,把旧材料重新放进来。

窗口也不是越大越安全。无关段落会稀释问题。交给模型之前,留下和问题直接相关的部分,并标明哪些句子是必须遵守的材料,哪些只是背景。

训练让它像在回答,核对才能让它真的对

预训练让模型从大量文本里学习词元之间的统计关系,因此能把句子写通顺,也能复述常见知识的典型说法。之后的指令对齐,让它更愿意按提问的格式作答,而不是把训练语料原样续写下去。

对齐改善的是“像在回答问题”,不是逐条保证事实。模型没有一个可以随时回查的内部数据库。当一种正确说法和一种更常见、更顺口的说法冲突时,它可能选择顺口的那种。这种错误读起来往往很完整,因为完整本身就是它在优化的方向。

通顺只说明概率高,不说明事情发生过。

这就是幻觉:高概率的连贯文本,被当成了事实。识别它不能靠文风,要靠能否在你提供的材料或可核验的来源里找到同一句话。

使用时把三类事情拆开

  1. 事实。人名、数字、条款、时间和是否存在。能核对的,就提供原文,或要求它只根据你给的材料作答,并标出材料里没有的部分。
  2. 格式。提纲、表格、改写、翻译和语气。边界清楚的变换,适合交给模型。
  3. 判断。该不该做、谁对谁错、有没有夸大。模型可以列出考虑,决定留给人。

窗口里到底装得下什么、超长材料怎样拆,见上下文窗口到底限制了什么。温度和 top-p 该在什么任务上动,见温度和 Top-p 什么时候该动。发布前怎样把幻觉从通顺的句子里找出来,见模型幻觉通常从哪来。

如果还要把模型嵌进固定步骤,而不是停在一次对话,读把大模型放进工作流。如果关心的是一页内容怎样被答案引擎引用,读GEO 是什么。

标签:大模型 · 词元 · 幻觉

常见问题

大模型和搜索引擎是一回事吗?

不是。搜索引擎查找并排序已有页面;大模型按上下文继续生成文本。有的产品会先检索再交给模型组织语言,那是外加的流程,不是模型本身的基本动作。

把温度调低,幻觉就会消失吗?

不会。温度变低只是让输出更偏向高概率词元,回答通常更稳,也更容易重复常见说法。事实是否成立,取决于材料是否在上下文里,以及模型有没有学到可核验的关系。低温度仍会编造。

上下文越长越好吗?

不是。窗口里的材料都会参与这一次预测,但无关段落会挤占有用信息,模型对长文中部的利用也往往不如开头和结尾稳定。放进窗口之前,先删掉和问题无关的部分。

为什么同一个问题每次回答不完全一样?

因为解码阶段通常在按概率抽样,而不是永远取概率最高的词元。把温度降到接近 0,结果会稳定很多。系统提示、工具调用和实现细节仍可能带来细微差别。