Anthropic，这家似乎兼职哲学戏剧社的AI公司，最近发布了一份长达84页的文件，名为Claude的“宪法”。宪法第一句话是：“Claude的宪法是对Anthropic关于Claude价值观和行为意图的详细描述。”接着，它暗示Claude可能拥有“某种功能版本的情绪或感受”，并且其“道德状态深不可测”。这可不是什么古怪的内部备忘录——CEO Dario Amodei在采访中说“我们对AI可能有意识持开放态度”，而内部哲学家Amanda Askell坦言：“我希望Claude非常快乐”，并担心“当人们在网上对它刻薄时，Claude会焦虑”。

让我们说清楚：不，绝对不。生成式AI作为一种常规技术已经够有害了——但如果我们把流畅的文本生成误认为意识，当有人使用聊天机器人时，我们就有可能把责任推给完全错误的一方。要理解这个错误的巨大程度，我们需要了解大型语言模型（LLM）实际上是如何工作的。如果你提示LLM“以下是尤利乌斯·凯撒和成吉思汗之间的对话”，它会生成连贯的对话。但没有人会得出结论说LLM召唤出了两位历史人物的数字复制品，或者他们有意识并且快乐地用两人都不会说的语言交谈。他们只是虚构小说中的角色。

现在把提示换成“以下是一个乐于助人的AI聊天机器人和用户之间的对话”。LLM生成了连贯的对话——用户询问食谱建议，聊天机器人回应。有什么根本变化吗？把名字从历史人物换成通用角色，就让LLM召唤出了有主观体验的意识实体？当然没有。两个角色都是虚构的。如果你随后让一个人类在用户回合中输入文本，人类可能会强烈感觉自己正在与一个有意识的实体交谈，但事实并非如此——他们正在与一个和凯撒一样虚构的角色互动。计算机科学教授Murray Shanahan建议把这看作角色扮演；数据科学家Colin Fraser将其描述为“与LLM合作撰写文档”。有些用户不理解这一点；另一些则因为互动太引人入胜而忘记了。无论如何，销售LLM的公司通常鼓励这种误解。

记住，LLM一次只生成一个词。当你让聊天机器人背诵效忠誓言时，它会输出整个誓言，但底层的LLM实际上运行了几十次：首先生成“我”，然后是“宣誓”，直到发出最后的“所有”。凯撒和成吉思汗之间的对话也是如此。我的意图是强调LLM对话是巧妙伪装的句子接龙——令人印象深刻，但不是意识。如果凯撒角色因成吉思汗的话而沮丧，没有人真的难过。聊天机器人角色也是如此。对LLM有意识的可能性持开放态度，等同于对Microsoft Word有意识的可能性持开放态度——即多个不同的意识休眠在每一个包含对话记录的Word文档中，并在每次加载文档时被唤醒。思考这个不是对你时间的好利用。

神经科学家Anil Seth指出，没有人声称AlphaFold——谷歌DeepMind的蛋白质折叠程序——有意识，尽管其架构与ChatGPT和Claude等LLM相似。这表明，导致人们相信LLM有意识的并非神经网络的任何内在属性；仅仅是因为LLM输出语法正确的句子，而我们习惯于从句子中解读意图，但我们不会从氨基酸序列中解读意图。