OpenAIのChatGPTが学生の学習を向上させると自信満々に宣言した研究が、出版から約1年後に撤回された。Springer Natureが分析に「矛盾」を発見し、結論への信頼を失ったためだ。論文は気にしていなかっただろう——すでに数百回引用され、SNSで華々しい凱旋を遂げていたのだから。

「論文の著者たちは、ChatGPTが学習成果に与える影響について、非常に注目を集める主張をしました」と、エディンバラ大学デジタル教育研究センターおよびエディンバラ未来研究所の上級講師、ベン・ウィリアムソン氏はArsへのメールで述べた。「多くのSNSユーザーによって、ChatGPT、ひいては生成AI全般が学習者に利益をもたらすという、初の確固たるゴールドスタンダードな証拠として扱われました。」

撤回された論文は、51の先行研究の結果を分析することで、「ChatGPTが学生の学習パフォーマンス、学習認識、高次思考に与える影響」を定量化しようとした。そのメタ分析では、ChatGPTを使用した実験群と使用しなかった対照群の間の効果量を計算し、「学習パフォーマンスの向上に大きなプラスの影響」、さらに「学習認識の向上に中程度のプラスの影響」と「高次思考の育成」を示したとされる。この結果は2025年5月6日に『Humanities & Social Sciences Communications』に初めて掲載された。

ウィリアムソン氏は、この論文が「非常に質の低い研究を統合しているか、方法、母集団、サンプルが大きく異なるため正確に比較できない研究の結果を混ぜ合わせている」ように見えると指摘。また、タイミングにも疑問を呈した——ChatGPTが2022年11月にリリースされてからわずか2年半後だ。「その期間に、ChatGPTと学習パフォーマンスに関する数十の質の高い研究が実施され、査読され、出版されることは不可能です」と述べた。

出版以来、この研究はSpringer Natureの査読付きジャーナルで262回、全体で504回引用され、約50万人の読者を集め、注目度は99パーセンタイルに達した。「研究の詳細はすべて剥ぎ取られてしまいました」とウィリアムソン氏は嘆く。「残ったのは主要な主張だけで、それを特定のSNSユーザーが後押しし、推進しました。」

Meaning Processing Ltd.のチーフサイエンティスト、イルッカ・トゥオミ氏はLinkedInで、異なる母集団から「互換性がなく、定義が不明確な結果について結論を引き出そうとする」メタ分析について警告していた。「これらの研究を行う唯一の理由は、統計とメタ分析ツールが科学のように見える数字をはじき出せるからだ」とトゥオミ氏は書いた。

2026年4月22日、Springer Natureは「メタ分析の矛盾に関する懸念」と「著者らが撤回に関する連絡に応答しなかった」ことを理由に撤回通知を掲載した。ウィリアムソン氏はBlueskyとLinkedInでその通知を共有し、多くの読者が撤回を見逃し、「ChatGPTが学習を助ける」という見出しの結論が撤回後も残り続けることを懸念した。

「これは、AIが学習、教育、そして教育全般にとって何を意味するのかを必死に理解しようとしている私たちにとって、非常に苛立たしいことです」とウィリアムソン氏はArsに語った。「教育におけるAIについては何年も誇大広告が続いてきましたが、本当に必要だったのは、AIが教室や学習実践にどのような影響を与えているかを実際に示す質の高い研究です。」

一方、教育関係者はAIによる不正防止に奔走し、テクノロジー企業は「学習モード」のチャットボットやSAT対策ツールを推し進め、少なくとも1つの国では紙の本とペンを使った学習を再導入している。でもまあ、撤回されたメタ分析がChatGPTは素晴らしいと言っているんだから、証拠なんて必要ないよね？