ChatGPT 并非“幻觉，是在胡扯！

在讨论AI聊天机器人如何编造信息时，使用准确的术语很重要

作者：乔·斯莱特、詹姆斯·亨弗里斯和迈克尔·汤森·希克斯

现在，人工智能无处不在。当你撰写文档时，可能会被问到是否需要你的“AI助手”。打开PDF文件时，可能会被询问是否需要AI为你提供摘要。但是如果你使用过ChatGPT或类似的程序，你可能熟悉一个特定的问题——它编造东西，导致人们对它所说的内容持怀疑态度。

将这些错误描述为“幻觉”已变得很常见。但这样谈论ChatGPT是误导性的，甚至可能是有害的。相反，称之为胡扯。

我们这么说不是轻率之举。在哲学家中，“胡扯”有专门的含义，这一概念由已故的美国哲学家哈里·法兰克福普及。当某人胡扯时，他们没有告诉真相，但他们也并没有真正撒谎。法兰克福说，胡扯者的特征在于他们根本不关心自己所说是否真实。ChatGPT及其同类产品无法在乎，从技术上讲，它们是胡扯机器。

我们可以很容易地看到这是真的以及为什么这很重要。例如，去年，一位律师在使用ChatGPT进行法律简报写作研究时发现自己陷入了困境。不幸的是，ChatGPT包含了虚构的案例引用。它引用的案例根本就不存在。

这并不是罕见或异常现象。为了理解原因，值得思考一下这些程序是如何工作的。OpenAI的ChatGPT、谷歌的Gemini聊天机器人和Meta的Llama都在结构上以类似的方式工作。它们的核心是一个LLM——大型语言模型。这些模型都对语言进行预测。给定一些输入，ChatGPT将预测接下来应该是什么或者什么是合适的回应。它通过分析大量文本（其“训练数据”）来实现这一点。在ChatGPT的案例中，最初的训练数据包括来自互联网的数十亿页面的文本。

基于这些训练数据，LLM从某些文本片段或提示中预测接下来应该是什么。它将得出一个最有可能的单词（技术上说是语言标记）列表，然后选择其中一个领先的候选词。允许它不总是选择最可能的单词，可以让语言更具创造性（且听起来更像人类）。设置多少偏差是被允许的参数被称为“温度”。在过程后期，人类训练师通过判断输出是否构成合理的言语来完善预测。还可能对程序施加额外的限制以避免问题（如ChatGPT说出种族主义言论），但这种逐个标记的预测是所有这些技术背后的理念。

现在，从这个描述中我们可以看到，没有什么能确保输出准确地描述世界上的任何事物。没有太多理由认为输出与任何内部表示形式有关。一个训练有素的聊天机器人会产生类似人类的文本，但过程中没有任何检查文本的真实性，这就是为什么我们强烈怀疑LLM真的理解它所说的内容。

所以有时候ChatGPT会说假话。近年来，随着我们逐渐习惯AI，人们开始将这些虚假陈述称为“AI幻觉”。虽然这种说法是比喻性的，我们认为这不是一个好的比喻。

考虑到莎士比亚在《麦克白》中的典型幻觉场景，麦克白看到一把匕首向他飘来。这是怎么回事呢？麦克白正试图以他平常的方式使用他的感知能力，但出了些问题。而他的感知能力几乎总是可靠的——他通常不会随机看到匕首在空中飘浮！通常情况下，他的视觉在呈现世界方面是有用的，之所以如此，是因为它与世界的联系。

现在想想ChatGPT。每当它说些什么时，它只是在尝试生成类似人类的文本。目标仅仅是制造听起来不错的东西。这从来不直接与世界挂钩。当它出错时，并不是因为它这次没有成功代表世界；它从不打算代表世界！将其错误称为“幻觉”并没有捕捉到这一特点。

相反，我们在《伦理学与信息技术》6月的报告中建议，一个更好的术语是“胡扯”。如前所述，胡扯者根本就不在乎他们所说的是否真实。

因此，如果我们确实将ChatGPT视为在与我们进行对话——尽管这可能有点假装——那么它似乎符合这个标准。它尽可能想做的任何事情，就是产生令人信服的类似人类的文本。它并不是在尝试对世界说些什么。它只是在胡扯。而且关键是，即使它说的是真的，它也是在胡扯！

这为什么重要呢？"幻觉"不就是一个不错的隐喻吗？如果它不合适，真的有关系吗？我们认为这确实很重要，至少出于三个原因：

首先，我们使用的术语影响着公众对技术的理解，这本身就很重要。如果我们使用误导性的术语，人们更有可能误解这项技术的工作原理。我们认为这本身就是一件坏事。

其次，我们如何描述技术影响着我们与该技术的关系以及我们对它的思考方式。而这可能有害。考虑到那些被“自动驾驶”汽车引入虚假安全感的人们。我们担心将AI描述为“幻觉”——一个通常用于人类心理学的术语——可能会使聊天机器人人格化。ELIZA效应（以1960年代的一个聊天机器人命名）发生在人们将人类特征归因于计算机程序时。在谷歌员工相信公司的一个聊天机器人具有意识的案例中，我们看到了这一点。将ChatGPT描述为一台胡扯机器（尽管它是一台非常令人印象深刻的机器）有助于减轻这种风险。

第三，如果我们将这些程序归咎于代理，这可能在出现问题时转移对使用ChatGPT的人或其程序员的责备。如果，正如所出现的情况，这种技术越来越多地用于诸如医疗保健等重要事项，那么当事情出错时知道谁负责至关重要。 

所以下次当你看到有人将AI编造的东西描述为“幻觉”时，就大声说胡扯吧！ 

这是一篇观点和分析文章，作者的观点不一定代表《科学美国人》的观点。

乔·斯莱特是格拉斯哥大学道德与政治哲学讲师。