Uno studio che dichiarava con sicurezza che ChatGPT di OpenAI può migliorare l'apprendimento degli studenti è stato ritirato, circa un anno dopo la sua pubblicazione, dopo che Springer Nature ha notato "discrepanze" nell'analisi e ha perso fiducia nelle sue conclusioni. Non che al documento importasse - aveva già accumulato centinaia di citazioni e si era goduto un glorioso giro sui social media prima che venisse staccata la spina.

"Gli autori del documento hanno fatto affermazioni molto accattivanti sui benefici di ChatGPT per i risultati di apprendimento," ha detto Ben Williamson, docente senior presso il Centre for Research in Digital Education e l'Edinburgh Futures Institute dell'Università di Edimburgo, in una email ad Ars. "È stato trattato da molti sui social media come uno dei primi pezzi di prova concreta e solida che ChatGPT, e l'IA generativa in generale, avvantaggia gli studenti."

Il documento ritirato mirava a quantificare "l'effetto di ChatGPT sulle prestazioni di apprendimento, la percezione dell'apprendimento e il pensiero di ordine superiore degli studenti" analizzando i risultati di 51 studi precedenti. La sua meta-analisi calcolava le dimensioni dell'effetto tra gruppi sperimentali che usavano ChatGPT e gruppi di controllo che non lo facevano, mostrando presumibilmente "un grande impatto positivo sul miglioramento delle prestazioni di apprendimento" insieme a "un impatto moderatamente positivo sul miglioramento della percezione dell'apprendimento" e "promuovendo il pensiero di ordine superiore." I risultati sono apparsi per la prima volta su Humanities & Social Sciences Communications il 6 maggio 2025.

Williamson ha notato che il documento sembrava "sintetizzare studi di qualità molto scarsa, o mescolare risultati di studi che semplicemente non possono essere confrontati accuratamente a causa di metodi, popolazioni e campioni molto diversi." Ha anche messo in dubbio i tempi - solo due anni e mezzo dopo il rilascio di ChatGPT nel novembre 2022. "Non è fattibile che dozzine di studi di alta qualità su ChatGPT e prestazioni di apprendimento siano stati condotti, revisionati e pubblicati in quel lasso di tempo," ha detto.

Dalla pubblicazione, lo studio è stato citato 262 volte in riviste peer-reviewed di Springer Nature e 504 volte in totale, ha attirato quasi mezzo milione di lettori e ha ottenuto il 99° percentile per attenzione. "Tutti i dettagli sullo studio sono stati spogliati," si è lamentato Williamson. "Tutto ciò che è rimasto sono state le affermazioni principali, che alcuni utenti dei social media hanno aiutato a potenziare e spingere."

Ilkka Tuomi, chief scientist di Meaning Processing Ltd., aveva avvertito su LinkedIn riguardo alle meta-analisi che tentano di "trarre conclusioni su risultati incompatibili e mal definiti" da popolazioni diverse. "L'unica ragione per fare questi studi sembra essere che gli strumenti statistici e di meta-analisi possono sfornare numeri che sembrano scienza," ha scritto Tuomi.

Il 22 aprile 2026, Springer Nature ha pubblicato un avviso di ritiro notando "preoccupazioni riguardo a discrepanze nella meta-analisi" e che "gli autori non avevano risposto alla corrispondenza riguardante il ritiro." Williamson ha condiviso l'avviso su Bluesky e LinkedIn, preoccupato che molti lettori avrebbero perso il ritiro e che "la scoperta principale che ChatGPT aiuta le prestazioni di apprendimento potrebbe persistere nonostante il suo ritiro."

"Tutto questo è enormemente frustrante per quelli di noi che cercano di dare un senso a cosa l'IA significhi per l'apprendimento, l'insegnamento e l'istruzione in generale," ha detto Williamson ad Ars. "Abbiamo avuto diversi anni di hype sull'IA nell'istruzione, ma ciò di cui abbiamo veramente bisogno è ricerca di alta qualità che possa effettivamente mostrarci che tipo di impatti l'IA sta avendo nelle aule e nelle pratiche di apprendimento."

Nel frattempo, gli educatori si affannano per prevenire l'imbroglio abilitato dall'IA, le aziende tecnologiche spingono chatbot "modalità studio" e strumenti di pratica SAT, e almeno un paese sta reintroducendo libri fisici e apprendimento con carta e penna. Ma ehi, una meta-analisi ritirata ha detto che ChatGPT è fantastico, quindi chi ha bisogno di prove?