多模态模型能看懂什么,不能当成什么
江南 · · 约 2459 字
多模态模型能参与阅读一张图或一份版式文件,是因为它收到了这份输入的某种编码,有时还包括产品事先抽出的文字。它不是把原图像素完好地放进了判断过程,更不是一台经过校准的测量仪。能用它加速查看,不能用它的描述代替原件。
文字模型为什么会把看不见的细节写完,见模型幻觉通常从哪来。图像输入只是多了一种同样需要回对的材料。
它比较适合做的事
画面清楚、文字大、对比足够时,模型常常能:
- 说明这一页的大致结构:标题在上,表格在中,注释在下。
- 抄写它确实识别出的大段文字,供你再对照。
- 指出图中有哪些可见区域,例如“左侧是柱状图,右侧有图例”,而不先解释这些柱子的业务含义。
- 把一张信息密度不高的截图转成你可以检索的草稿。
这些输出的正确用法是缩短你定位的时间。你仍然打开原图,看它指到的那一块。流程若做不到回到原图,就不要把这一步放进要发布或要履约的链路。
不能当成的四件事
第一,不能当成尺子或计数器。图上的比例、间距、人数、库存,除非图内以文字标出且你核对过那个文字,否则不要采用模型“看起来大约是”的数字。大约是它在补全,不是它量过。
第二,不能当成小字和否定词的可靠读者。脚注、印章里的字、水印、灰底上的白字、手写批注,都是容易漏读或读反的位置。漏掉一个“不”或一个“除外”,比漏掉一个形容词严重。这类位置默认人工读。
第三,不能当成图表数值的来源。模型可能描述趋势“在上升”,同时写错拐点的年份。正文若需要那个年份或那个高度,先从坐标轴和数据标签上把数字抄下来,由第二个人或同一人对照原图勾过,再允许模型使用这些已经抄准的数字去组织句子。顺序不能反:不能先让它写分析,再希望它自己修正数字。
第四,不能当成身份、签章、医疗影像或现场证据的鉴定。模型可以告诉你“图中有一块红色区域”。它不能据此成立一个你要对外负责的事实。这类判断属于人的专业责任,模型的句子最多作为待查清单。
让它交出可核对的字符串
提问时不要只说“总结这张图”。要求两段输出:一段是它读到的原文字符,按页面区域分开;另一段才是基于这些字符的说明,并且说明里的每一个数字都能在前一段找到。对不上的说明整句丢弃。
区域要具体。“左下角的脚注写了什么”比“这张图在说什么”更容易回对。一次只问一个区域。把整份十页扫描件放在一个问题里,再要求逐页准确,通常只会得到一份看起来完整的综述,页码和例外对不上。
保存原图、这次的提问和它返回的字符串。后一次若换了说法,以你核对过的字符串为准,不要覆盖掉已经勾过的版本。来源记录里,图片文件名和页码就是位置,见用模型做调研时怎样保留来源。
预处理不同,流程就不能只靠一次成功
有的产品会先做文字识别再把文本交给模型,有的直接接收图像编码,有的会把你上传的文件转成低分辨率预览。同一次成功,换一个接口或换一种导出质量,可能就不成立。因此流程里写的是“必须回对原图”,而不是“这个模型能看懂扫描件”。
原图本身模糊时,先换清晰的导出,而不是换一种更强烈的提示词。提示词不能恢复被压缩掉的笔画。若清晰原件不存在,结论就不应建立在这张图的小字上。
模型对图像的描述和它对文本的续写是同一类风险:句子可以完整,依据可以不在。发布前的标准不变,仍然是每一个会被引用的细节都能在原件上指出来。文本侧的生成方式,见大模型如何生成一段回答。
一张柱状图可以怎样被用错
图上只有两年的柱子,纵轴从 40 起而不是从 0 起,柱顶标着 42 和 46。模型可能写成“几乎翻倍”或“达到 50 左右”。前一句来自纵轴截断造成的视觉印象,后一句是一个材料里没有的整数。两句都不能进入正文。
能进入正文的路径是:人先把图题、年份和柱顶数字抄成三行文字,另一人对照原图勾过。模型只被允许使用这三行,并被禁止描述“增长很快”这类图上没有的评价。若正文需要说明纵轴不是从 0 开始,也由人写,因为这是读图方法,不是模型看见的一个标签。
同一标准用在截图上的按钮和价格。模型说“页面显示可免费使用”,你要在截图里找到这六个字。找到的是“首月免费,次月起按席位计费”,就以这句为准。截图本身要连同可见的日期或版本一起存档,否则下周页面改了,你无法证明当时核对的是哪一版。
多页 PDF 不要当成一张大图。逐页导出或逐页提问,页码写进你的对照表。模型把第 2 页的例外安到第 5 页的价格上时,如果你只保存了一份“全文摘要”,就无法发现错位。扫描页先确认文字方向和清晰度,再决定要不要送进模型。方向是倒的、笔画糊成一块的页面,直接人工处理,不要用提示词要求它“尽力辨认”。尽力辨认得到的是猜测。
表格截图比段落更需要逐格核对。模型可能读对表头、读错某一行,并把错行写成结论。核对时盖住它的结论,只看它抄出的格子是否与原图一致,再决定结论是否保留。先看结论,很容易因为句子通顺而放过错行。同一张图若包含正文和页眉页脚,要求它不要把页眉上的旧日期写成这份文件的版本。页眉经常是模板留下的,不代表这一页的内容日期。
图中的说明文字和画面互相矛盾时,以你核对过的那一层为准,不要让模型调解。例如图注写“含税”,表中数字旁写“未税”。两句都抄下来,标明各自的位置,由人决定正文采用哪一句或两句都保留。模型若写成“价格已含税”,它是在选边。选边没有出现在你的核对记录里,就不能当作图已经说清了。画面模糊到无法确认图注的,正文就不要写税的问题。
常见问题
模型描述了图里的文字,能不能直接当抄录用?
不能。把它给出的字符串贴回原图核对。小字、印章、手写、低分辨率和倾斜页面最容易错一个数字或漏一个否定词。错一个“不”字,结论会反掉。
把合同扫描件交进去,它能不能判断哪一条款有效?
它最多帮助你把看得见的文字誊出来,方便检索。条款是否有效、哪一页盖了什么章,要由人看原件,并按你们的专业责任来判断。模型的描述不是鉴定。
同一张图多问几次,答案不完全一样,以哪次为准?
以你对照原图后确认的那一版为准,而不是以说得最肯定的那一次为准。多次结果不一致时,把不一致的字段标出来人工看,不要取一个“折中”数字。