学術的誠実性への最大の脅威が、学生がウィキペディアをコピーすることだった時代を覚えているだろうか？あの頃は単純だった。今やパングラムというAI検出ツールが、ボットが書いたテキストの事実上の裁判官、陪審員、死刑執行人となっている——しかも、事態を悪化させているかもしれないのに。
パングラムは最近、ほぼすべての注目を集めるAI執筆疑惑の中心にいる。発売直前に回収されたホラー小説をフラグ立てし、ニューヨーク・タイムズの記事がチャットボットによって書かれたと示唆し、受賞歴のある短編小説に疑問を投げかけ、さらには教皇レオ14世のAI危険性に関する回勅のかなりの部分を関与させた。大学は学生の課題を審査するためにこれを使用し、科学協会は研究論文をスキャンする。AI執筆へのパニックが起きると、パングラムは頼りのパニックボタンとなる。
ほんの数年前、信頼できるAI検出は不可能に思えた。2023年、ZeroGPTはアメリカ合衆国憲法をAIが書いたと宣言し、OpenAIは「低い精度」を理由に自社の検出器を放棄した。それはChatGPTの文章が明らかに劣っていた時代だ。今や検出ツールは劇的に改善され、パングラムは黄金基準として浮上した。テキストを貼り付けると、「AI生成」「AI支援」「人間執筆」のいずれかを教えてくれる。
しかし、黄金基準にも曇りはつきものだ。パングラムのCEOマックス・スペロは、アルゴリズムが人間のテキストをAIと誤ってフラグするのは1万回に1回程度だと主張する。「何かをAI生成と断言するのは大きな責任であり、重い重荷です」とスペロは私に語った。「そうするのは、極めて確信しているからに他なりません。」独立した分析も彼を支持している——シカゴ大学のある論文では、約3000のサンプルテキストでほぼ誤検出は見られなかった。
しかし、パングラムが何かが人間によって書かれたと保証する能力はより脆弱だ。偽陰性率——AIテキストを人間と誤ってラベルする頻度——は、スペロ自身のテストによると70分の1に近い。そして、これはチャットボットをますます自然に聞こえさせるAI研究所との軍拡競争や、AIテキストを偽装するために設計された「ヒューマナイザー」プログラムを考慮する前の話だ。
私はWalter Writes AIというヒューマナイザーをテストした。ChatGPTとClaudeに短い記事を書かせた後、Walterの言い換えにかけた。ChatGPTの「数字はもはや無視できるほど小さくない」は「これらの使用数字の膨大さはもはや無視できない」になった。二度焼きされた出力をパングラムに貼り付けると、常に人間が書いたテキストと宣言された。（完全な開示：The AtlanticはAI生成テキストの使用を、そのようにラベルされない限り禁止しており、私は研究にAIを使用していない。）
ニューヨーク市の公立高校の教師は私に、「生徒の論文のいくつかをパングラムにかけたところ、100%人間と表示された。でも、そうではないと思う」と語った。彼は自分の生徒の能力を知っており、パングラムを疑う十分な理由がある。しかし、生徒を誤って告発することは高いリスクを伴う：不合格か恨みだ。「リスクは非常に高い」と教師は言う。「しかし、AI生成を評価する方法はまだ非常に未熟だ。」
さらに複雑なことに、パングラムの内部動作は不透明だ。モデルは、人間が書いた例とボットが書いた例の山を詰め込んで訓練された——雑誌の書評と、同じ雑誌のスタイルで同じ本についてChatGPTが書いた書評——そして、それらを見分けることを学習する。しかし、パングラムは具体的な証拠やパターンを指摘できない。「アルゴリズムの内部動作はかなり解釈不可能です」とスペロは認めた。彼はパングラムの「AI支援」ラベルをより詳細にしたいと考えているが、「それがどの程度可能かはまだわかりません。」私たちは別のブラックボックスアルゴリズムへの依存を重ねるリスクを冒している。
スペロは、パングラムは「決して最終的な判断者であってはならず」、調査の出発点であるべきで、同社は報告されたすべてのエラーを調査していると主張する。彼は、煙探知機やTSAスキャナーにも基本エラー率があると指摘する。最大の問題はテクノロジーではなく、検出しようとしているものにあると彼は論じる：AIが社会に浸透していることだ。