盒子AI大模型 · GEO · 工作流

大模型

上下文窗口到底限制了什么,超长材料该怎么拆

江南 · · 约 2340 字

上下文窗口限制的是同一次生成里,模型能作为条件看见的词元总数。指示、你贴上的材料、对话、工具返回的文字,以及它已经写出来的回答,都占这个额度。它不增加模型的知识,也不等于把一份文档存进了可以按页回查的库。

回答怎样在这个条件下一个词元一个词元长出来,见大模型如何生成一段回答。本文只处理一件相邻的事:材料比窗口长,或者虽然塞得进、但你已经分不清哪一句在起作用时,该怎么拆。

窗口在计什么

词元不是“一个汉字”或“一个英文单词”的别名。分词器把文本切成模型内部的单位。常见汉字往往各自占一个词元,英文单词则可能被拆开,标点和空白也会占位置。所以同一份材料,换一种语言或换一种分词方式,占用的窗口并不一样。按字数估计“还能再贴多少”会偏。

一次请求里的各个部分共用这一个额度。系统指示写得很长,留给正文的位置就变少。模型开始作答以后,已经生成的文字也进入后续预测的条件。回答写得越长,后面的句子能同时参照的原文就越挤。你若要求它“先写三千字综述,再逐条核对原文”,核对发生时,原文可能已经不在它看得见的范围内。

不同产品在超出窗口时的截断位置并不相同。有的丢掉开头,有的丢掉较早的对话,有的在你发送前就拒绝。不能假设被截掉的是不重要的部分。凡是你没有在这一次请求里再次放上的句子,就当作它看不见。

塞得下,也不等于用得上

窗口够大,只说明这些词元有机会参与预测,不说明每一句都被同等对待。材料一长,真正要回答的那句话很容易被前后的背景淹没。实践里常见的情况是:开头的说明和靠近问题的段落更容易影响回答,埋在长文中部的限定条件更容易被忽略。这不是一条可以换成百分比的定律,只说明你不该把关键例外藏在大段无关文字中间。

因此“把全文放进去,让它自己找”适合摸索,不适合作为发布流程。你失去的是对照:终稿里的一句判断,说不清来自哪一节。后文要保留来源时,这个问题会更具体,见用模型做调研时怎样保留来源。

按问题切,不要按页数切

等长切片最容易把定义和它的例外切开。上一块写“可以退款”,下一块写“以下情形除外”,模型在单独处理上一块时会把例外写成不存在。按固定字数切,切点落在表格、列表或条件从句中间时,同样会发生这种事。

先写出这次要回答的问题,再为每个问题收集能回答它的最小片段。片段要包含紧挨着的限定:时间、适用范围、例外、定义所依赖的术语。一个片段只服务一个问题。若同一节同时回答两问,可以复制进两份材料,并在材料外记下它的原文位置,而不是让模型在两问之间自由发挥。

每一份送进模型的材料,开头用三行固定下来:

  1. 这一次只回答哪个问题。
  2. 怎样算回答完:指出结论,并标出材料里的原句,不要补充材料里没有的数字。
  3. 材料本身。材料之前写明它是给定事实,不是写作风格的示例。

材料外面另留一张对照表,不交给模型合并:问题、原文位置、模型给出的答复、你是否核对过。这张表是你的,不是对话记录。对话被截断以后,表还在。

摘要不能接替原文里的数字

摘要适合作为下一步的目录:这份材料讨论了哪些条件,哪些问题还没有片段。它不适合作为数字和专名的唯一来源。摘要每压缩一次,限定词就容易消失。“在合同签订后 7 日内”会变成“可以及时”。“部分用户”会变成“用户”。两层摘要叠在一起时,这种脱落最明显,因为第二层已经看不见原来的句子。

终稿若要保留一个数字、一个名称或一个条件,核对的对象是原始片段,不是摘要,也不是模型对摘要的复述。摘要和终稿对不上时,删掉终稿里多出来的那半句,不要让模型“把两份说法调和得更通顺”。通顺的调和经常是在选一个更常见的说法。

温度和抽样改变不了片段里有没有这句话。拆材料的时候不必为了“更认真”去调这些旋钮,见温度和 Top-p 什么时候该动。

一次拆解可以按这个顺序做

  1. 把总问题写成三到七个互不包含的小问题。写不清小问题,就还不到切材料的时候。
  2. 为每个小问题复制最小片段,宁可带上相邻的例外,不要只拷贝看起来支持结论的那一句。
  3. 一次只送一个小问题。要求回答标明片段中的原句,并明确写出片段里没有的部分。
  4. 你自己对照原文勾掉已经核对的句子。两个小问题的答复互相矛盾时,回到片段,不发起一轮“请综合成一个更完整的答案”。
  5. 全部小问题核对完,再决定要不要让模型把已核对的答复排成一篇。这一步的输入只有核对后的答复,不再把全文塞回去。

这样做比一次贴完全文慢。换来的是每一句都能指回一个位置。指不回去的句子,本来就不该出现在要发布的文本里。

用三句话看切法对不对

假设材料只有这三句:“会员可在到账后 7 日内申请退回未使用的余额。已开具发票的,须先作废发票。活动赠送的额度不可退。”问题是“未使用的余额能否退回”。

按字数切在第一句结束,模型只能看见“7 日内可以申请”,会把退回写成没有附加条件。按问题切,三句必须在同一次材料里,因为后两句都是第一句的限制,不是另一个主题。终稿若写成“7 日内均可退回”,核对时对照的是这三句,而不是模型的改写。

表格、定义列表和“除下列情形”也按同一原则处理:表头、合计口径和紧挨着的注,跟数据行放在一起。只拷贝看起来有利的那一行,等于主动制造一个不完整的上下文。材料外的对照表记下页码或段落号。没有位置编号的片段,不进入下一步。

标签:上下文 · 词元 · 大模型

常见问题

窗口变大以后,是不是就不用拆了?

不用拆的只是“装不装得下”。相关的句子仍然要靠你挑出来。把整份无关材料放进去,问题会被稀释,你也失去答案来自哪一节的记录。

对话进行到很后面,开头的约定还算数吗?

只有仍留在当前窗口里的内容会参与这一次预测。被截掉、或没有再次贴上的约定,不能当作模型还看得到。重要约束要跟在这一次的材料旁边。

让模型先写一份全文摘要,再基于摘要继续写,可以吗?

可以用来整理结构。摘要里出现的数字、专名和例外,发布前必须能在原文位置上找到。找不到的,从摘要和终稿里删掉。