盒子AI大模型 · GEO · 工作流

工作流

把大模型放进工作流:先定输入输出,再谈自动化

江南 · · 约 1406 字

可靠的大模型工作流,是把一件事拆成边界清楚的步骤:每一步有明确的输入和输出,并在出错代价高的位置留下人工检查。它不是把整件事塞进一次对话,然后希望回答直接可用。

先写输入和输出,再谈用哪个模型

开始自动化之前,用三行写清:这一步收到什么,交出什么,怎样算错了。写不清这三行,就还没有步骤,只有一个愿望。

模型只负责变换:总结、改写、提取、分类、按格式起草。查找原始事实、最后是否发布、是否涉及具体的人,这些要么来自你的材料,要么留在检查点上。模型在单次回答里如何逐词元生成,见大模型如何生成一段回答。

一个可以套用的四段结构

  1. 收集。把这一步允许使用的材料放进输入。材料里没有的事实,后面的步骤不得补充。
  2. 变换。调用模型或一个固定的 Skill,只做一种变换。又总结又发挥又下结论的步骤,失败时无法判断是哪一件没做好。
  3. 校验。用规则能查的就用规则:是否漏了必填项,数字是否被改,链接是否指向站内已有页面。规则查不了的,标成待人确认。
  4. 交付。只有通过校验的输出才能进入下一步或对外。没通过的回到收集或变换,不直接改最终稿蒙混。

Skill 适合放在“变换”这一段。它和流程的差别,见什么是 AI Skills。

人该站在哪里

人不要平均地站在每一步后面。人应该站在两类位置:事实第一次进入流程的地方,以及结果即将离开团队的地方。中间那些纯格式变换,规则校验通常比再读一遍更可靠。

如果某一步的错误向外发布后很难收回,这一步就不能只因为“模型很自信”就自动通过。自信是文本风格,不是校验结果。

一篇说明文可以怎样走完

下面是这种阅读站可以采用的顺序。它故意很短,方便照着改:

  1. 定一个问题作题目,并写出希望第一段直接回答的那句话。
  2. 列出必须讲到的要点,以及明确不写的内容,例如没有来源的数据。
  3. 按要点生成草稿。约束写明:只展开给定要点,不新增事实。
  4. 人工核对定义句、步骤和任何带数字的句子。
  5. 补上站内相关链接和读者真会问的问答,再发布。

第 3 步可以交给模型,第 4 步不能省。哪些步骤连草稿都不该自动放行,见哪些步骤不该交给模型自动完成。从草稿到发布可以照着做的复核单,见从草稿到发布。内容怎样才容易被答案引擎引用,见GEO 是什么。

失败时怎么收

常见的失败不是模型突然变笨,而是步骤的输入脏了:上一步输出了窗口装不下的长文,下一步只看见后半段;或者上一步把猜测写成了肯定句,下一步把它当成材料引用。

收到失败时,缩短输入,把猜测从材料里删掉,并让每一步的输出只保留下一步真的会读的字段。不要靠追加“请一定仔细”来修补一个边界不清的步骤。

标签:工作流 · 大模型 · Skills

常见问题

为什么不把整件事一次性交给模型?

一次对话里又收集、又发挥、又下结论,失败时无法判断是哪一件没做好,也很难只重做其中一步。拆开之后,每一步的输出就是下一步的全部输入。

人要检查每一步吗?

不要平均地站在每一步后面。事实第一次进入流程时要人确认材料,结果即将对外时要人确认发布。中间纯格式的变换,规则校验通常比再读一遍更可靠。

Skill 应该放在流程的哪一段?

放在“变换”这一段。Skill 规定这一步怎样做才算做对,工作流规定步骤之间如何交接。一份 Skill 管不了整条流程的顺序。

模型写出很肯定的句子,就可以自动进入下一步吗?

不可以。肯定是文本风格,不是校验结果。数字、链接和必填项要用规则核对;规则查不了的,标成待人确认。