模型幻觉通常从哪来,发布前怎么核实
幻觉是模型写出了通顺但不成立的内容。它常来自高概率的常见说法、材料里根本没有的细节、含糊的问题和被当成事实的工具返回。发布前要逐项回对来源,而不是再让模型给自己配引用。
与「幻觉」有关的说明文。
幻觉是模型写出了通顺但不成立的内容。它常来自高概率的常见说法、材料里根本没有的细节、含糊的问题和被当成事实的工具返回。发布前要逐项回对来源,而不是再让模型给自己配引用。
大模型不是从题库里取出现成答案,而是按当前上下文逐个估计下一个词元的概率,再把文本续写下去。明白这一点,才能设定期望、控制随机性,并识别幻觉。