模型幻觉通常从哪来,发布前怎么核实
江南 · · 约 2329 字
幻觉是模型产出了读起来完整、却没有相应事实的内容。它不是一种单独的“故障模式开关”,而是下一个词元预测在缺少依据时仍会把句子写完。发布前要核实的,是终稿里每一个会被读者当成事实的片段,不是模型的语气。
预测为什么会把常见说法写得如此顺,见大模型如何生成一段回答。下面只谈这些句子通常从哪类情况里长出来,以及人在发布前做哪几件核对。
四种常见的来路
第一种是高频说法被补全。你问一个模型“某项规定的期限是多少”,若材料里没有期限,它仍可能写出一个在同类文本里很常见的数字。这个数字看起来具体,具体来自常见,不来自你的材料。名称、步骤数量、百分比,都容易以这种方式出现。
第二种是问题本身越出了材料。材料只写了适用对象,问题却问“因此应如何处罚”。模型会把处罚写圆,因为提问的方式预设了材料里有答案。核实的第一步常常不是改写回答,而是收回问题:这个问法是不是已经假设了一个材料里不存在的结论。
第三种是歧义被悄悄选边。同一个词在材料里有两个意思,或同一条款有但书。模型通常会选更顺的那一种并把另一面略去。终稿若只留下被选中的一面,读者会以为条件不存在。核对时要专门找“但是、除外、仅限于、截至”这些词,看回答有没有把它们丢掉。
第四种是上游文本被当成了事实。检索摘录、网页转换、表格识别、别的模型写的摘要,都可能先错一次。后一个模型只是把这段错误写得更像结论。工具返回不是证据,它是待核对的文本。你要保存工具拿到的原文,而不是只保存模型对原文的转述。
不要用“请给出引用”代替核对
让模型补参考文献,得到的是另一段高概率文本:作者、年份、标题和链接都可能长得像样。格式像引用,不证明那份文献存在,更不证明它支持相邻的那句话。把这种列表贴进文章,等于把幻觉换成一种更难被读者识破的样子。
有用的做法是方向相反。先由人确定允许使用的材料,给每一份材料一个编号。要求模型在草稿里为每句事实标上编号;没有编号的句子单独成段,标题写明“材料未提及”。发布时删除这一段,或改写成你亲自核实过的话。编号对不上材料的,同样删除。
材料很长时,不要把“标编号”建立在一次塞进全文的基础上。先按问题拆开,再标。拆法见上下文窗口到底限制了什么。调研流程里怎样留住来源本身,见用模型做调研时怎样保留来源。
发布前只查会被当成事实的部分
不需要逐词重写已经由人写好的定义。需要逐项回对的是读者会拿去引用的部分:
- 数字、比例、期限、金额、版本号。
- 专名:人、机构、产品功能、文件标题。
- 条件从句:谁适用,何时适用,何种情形除外。
- 链接和“据某处”的说法。打开的是你保存的页面或文件,不是草稿里新出现的地址。
- 模型声称“材料说”的原句。回到材料里搜这半句,搜不到就不是引用。
对不上的处理方式只有两种:改成材料里的原话,或删掉。不要让模型“在不改变意思的前提下写得更准确”。意思若本来就没有依据,改写只会把句子变得更难核对。
可以把草稿拆成两列。左列是模型写的句子,右列是材料中的位置或“无”。终稿只收录右列有位置、且你看过那一位置的句子。这个动作比再加一句“请务必真实”有约束力,因为它留下了可以复查的痕迹。
核实之后才谈文风
低温度、更短的回答、更死的格式,都只能让错误更集中或更容易被规则扫到,不能证明内容为真。先做完上面的对照,再考虑标题好不好读、段落是否均匀。顺序反过来,你会在一个虚构的数字上花费编辑时间。
若这篇文章马上要公开,把核对放进发布单的固定位置,而不是靠编辑记得。一张可以照着走的复核顺序,见从草稿到发布。
一句话怎样被勾掉
材料写的是:“基础版在工作日 9 时至 18 时提供邮件支持,不含节假日。”草稿写成:“基础版提供 7 天邮件支持,响应及时。”左列是草稿,右列要填写材料位置。第一分句在材料里找不到“7 天”,右列写“无”,整句不进终稿。不能只删掉“7 天”、留下“响应及时”,因为“及时”同样没有出处。
可以留下的写法是把材料原意说全:“基础版在工作日 9 时至 18 时提供邮件支持,不含节假日。”这句话的右列有位置,而且你看过那个位置。模型若接着补“因此适合需要全天候响应的团队”,新的一句右列仍是“无”,继续删。核对的单位是会被读者单独引用的分句,不是整段的大致印象。
做完一批后看右列为“无”的句子集中在哪类:期限、范围还是原因。下一版指示只收紧那一类,例如“不要把支持时间改写成全天或 7 天”。收紧一句具体的禁区,比再写一次“请确保真实准确”有用。
这张两列表不必做成系统。一张纸或文档末尾的核对区就够:左列抄会被引用的分句,右列写材料位置或“无”。发布的人在右列签字式地打勾,表示看过那个位置,而不是表示相信模型。没有右列的稿子不上线。样本很小的时候,例如只改了一句价格,也走这张表,避免“只改一个数所以不用核对”变成跳过流程的理由。价格恰好是最不该跳过的那一类。
核对区不要交给模型填右列。它会给自己的句子配上一个看起来存在的章节号。右列只能由打开过材料的人填写。若人手不够,就缩小左列,只保留真正可能被引用的分句,而不是把整篇每一句都列上再流于形式。形式上一长串未打开的位置,和没有核对是同一件事。
常见问题
把温度调低,幻觉会不会一起消失?
不会。低温度让输出更偏向高概率词元,错误会更稳定,甚至更像标准答案。事实是否成立,仍取决于材料里有没有依据。
模型主动写出了链接或书名,能当作它查过吗?
不能。链接和书名也是按上下文续写出来的,格式正确不等于目标存在,更不等于那一页支持这句话。要打开你自己保存的来源,而不是打开模型现写的地址。
怎样要求它少编,又不会把指示写成空话?
写清可执行的边界:只使用这次贴上的材料;材料没有的数字不要出现;没有依据的句子单独标成“材料未提及”。然后由人删掉那些句子,而不是相信标过就等于核对过。