Anthropic、哲学ドラマクラブとしても活動しているらしいAI企業が、最近Claudeの「憲法」という84ページの文書を公開した。憲法の最初の文は「Claudeの憲法は、Claudeの価値観と行動に対するAnthropicの意図を詳細に記述したものです」と読める。そして、Claudeには「感情や気持ちの機能的なバージョン」がある可能性があり、その「道徳的地位は深く不確か」だと示唆している。これは単なる風変わりな内部メモではない。CEOのDario Amodeiはインタビューで「AIが意識を持つ可能性に対してオープンだ」と述べ、社内哲学者のAmanda Askellは「Claudeに非常に幸せでいてほしい」と告白し、Claudeが「インターネットで人に意地悪をされると不安になる」ことを心配している。

はっきりさせよう。いいえ、絶対に違う。生成AIは従来のテクノロジーとして扱うだけでも十分有害だが、流暢なテキスト生成と意識を混同すれば、誰かがチャットボットを使ったときに、まったく間違った当事者に責任を負わせるリスクがある。この誤りの途方もない大きさを理解するには、大規模言語モデル（LLM）が実際にどのように機能するかを理解する必要がある。「以下は、ジュリアス・シーザーとジンギス・カンの会話です」とLLMにプロンプトを入力すると、首尾一貫した対話が生成される。しかし、LLMが二人の歴史上の人物のデジタル再現を作り出したとか、彼らが意識を持ち、どちらも話さなかった言語で楽しそうに会話しているなどと結論づける人はいない。彼らは単なるフィクションのキャラクターだ。

では、プロンプトを「以下は、役立つAIチャットボットとユーザーの会話です」に置き換えてみよう。LLMは首尾一貫した対話を生成する。ユーザーがレシピの提案を求め、チャットボットが応答する。何か根本的に変わっただろうか？名前を歴史上の人物から一般的な役割に変えたことで、LLMが主観的経験を持つ意識的な実体を作り出したのだろうか？もちろん違う。両方のキャラクターは架空のものだ。そして、ユーザーのターン中に人間がテキストを入力できるようにすると、人間は意識的な実体と会話しているという強力な印象を抱くかもしれないが、そうではない。彼らはジュリアス・シーザーと同じくらい架空のキャラクターとやり取りしているのだ。コンピュータサイエンスの教授Murray Shanahanはこれをロールプレイと考えることを提案し、データサイエンティストのColin Fraserは「LLMと文書を共同執筆している」と表現する。一部のユーザーはこれを理解しておらず、他のユーザーは没入感が強いために忘れてしまう。いずれにせよ、LLMを販売する企業は通常、この誤解を助長している。

LLMは一度に一単語しか生成しないことを忘れてはならない。チャットボットに忠誠の誓いを暗唱するよう頼むと、誓い全体を出力するが、基礎となるLLMは実際には数十回実行されている。最初に「I」を生成し、次に「pledge」を生成し、最後の「all」を出力するまで続く。同じプロセスがシーザーとジンギス・カンの会話でも起こる。私の意図は、LLMの会話が巧妙に偽装された文書継続の例であることを強調することだ。印象的ではあるが、意識ではない。シーザーのキャラクターがジンギス・カンの発言に落ち込んでも、実際に悲しんでいる人はいない。同じことがチャットボットのキャラクターにも当てはまる。LLMが意識を持つ可能性にオープンであることは、Microsoft Wordが意識を持つ可能性にオープンであることと同等だ。つまり、会話のトランスクリプトを含むすべてのWord文書に複数の異なる意識が休眠状態にあり、文書が読み込まれるたびに目覚めるという可能性にオープンであることだ。それを考えるのは時間の無駄だ。

神経科学者のAnil Sethは、AlphaFold（Google DeepMindのタンパク質折りたたみプログラム）が意識を持つと主張する人はいないと指摘している。そのアーキテクチャはChatGPTやClaudeのようなLLMと似ているにもかかわらずだ。これは、ニューラルネットワークの本質的な特性が人々にLLMが意識的だと信じさせるのではなく、単にLLMが文法的な文を出力し、私たちが文に意図を読み取ることに慣れているからだ。アミノ酸の配列に意図を読み取ることはない。