把大模型放进工作流:先定输入输出,再谈自动化
可靠的大模型工作流把一件事拆成边界清楚的步骤。每一步有明确的输入和输出,并在出错代价高的位置留下人工检查,而不是把整件事塞进一次对话。
与「大模型」有关的说明文。
可靠的大模型工作流把一件事拆成边界清楚的步骤。每一步有明确的输入和输出,并在出错代价高的位置留下人工检查,而不是把整件事塞进一次对话。
幻觉是模型写出了通顺但不成立的内容。它常来自高概率的常见说法、材料里根本没有的细节、含糊的问题和被当成事实的工具返回。发布前要逐项回对来源,而不是再让模型给自己配引用。
温度改变概率分布的平滑程度,Top-p 丢掉分布尾部后再抽样。两者都不补充事实。提取、分类和要稳定复现的格式应保持低温度;只有在你准备从多份草稿里挑选时,才值得提高温度。
大模型不是从题库里取出现成答案,而是按当前上下文逐个估计下一个词元的概率,再把文本续写下去。明白这一点,才能设定期望、控制随机性,并识别幻觉。
上下文窗口限制的是这一次生成能同时看见的词元数量,不是模型存下了多少知识。超长材料应按问题拆开,并让每一段都带着题目、例外和可回查的原文位置。
系统提示词放稳定的角色、禁区和完成标准,用户提示词放这一次的问题和材料。不要把当天的文档写进系统提示,也不要假定上周的系统约定在这次请求里仍然看得见。
多模态模型接收的是图像或页面的一种编码,不是可靠的测量仪器。它可以协助阅读清晰的文字和描述看得见的结构,但不能代替你核对小字、图表中的数字和需要担责的识别结论。