En studie som självsäkert förklarade att OpenAIs ChatGPT kan förbättra studenters lärande har dragits tillbaka, ungefär ett år efter publiceringen, efter att Springer Nature upptäckte "avvikelser" i analysen och förlorade förtroendet för slutsatserna. Inte för att uppsatsen brydde sig – den hade redan samlat på sig hundratals citat och njutit av en härlig runda på sociala medier innan proppen drogs.

"Författarna till uppsatsen gjorde några mycket uppmärksammade påståenden om fördelarna med ChatGPT för läranderesultat," sade Ben Williamson, seniorlektor vid University of Edinburghs Centre for Research in Digital Education och Edinburgh Futures Institute, i ett mejl till Ars. "Det behandlades av många på sociala medier som ett av de första hårda, guldstandardbevisen på att ChatGPT, och generativ AI mer brett, gynnar elever."

Den återkallade uppsatsen syftade till att kvantifiera "effekten av ChatGPT på studenters lärandeprestation, lärandeuppfattning och högre ordningens tänkande" genom att analysera resultat från 51 tidigare studier. Dess metaanalys beräknade effektstorlekar mellan experimentgrupper som använde ChatGPT och kontrollgrupper som inte gjorde det, vilket påstods visa "en stor positiv påverkan på att förbättra lärandeprestation" tillsammans med "en måttligt positiv påverkan på att förbättra lärandeuppfattning" och "främja högre ordningens tänkande." Resultaten publicerades först i Humanities & Social Sciences Communications den 6 maj 2025.

Williamson noterade att uppsatsen verkade "syntetisera studier av mycket dålig kvalitet, eller blanda ihop resultat från studier som helt enkelt inte kan jämföras korrekt på grund av mycket olika metoder, populationer och urval." Han ifrågasatte också tidpunkten – bara två och ett halvt år efter ChatGPTs lansering i november 2022. "Det är inte möjligt att dussintals högkvalitativa studier om ChatGPT och lärandeprestation kunde ha genomförts, granskats och publicerats under den tiden," sade han.

Sedan publiceringen citerades studien 262 gånger i Springer Nature-granskade tidskrifter och 504 gånger totalt, lockade nästan en halv miljon läsare och fick 99:e percentilen för uppmärksamhet. "Alla detaljer om studien skalades bort," beklagade Williamson. "Allt som återstod var de stora påståendena, som vissa användare på sociala medier hjälpte till att boosta och driva fram."

Ilkka Tuomi, chefsforskare på Meaning Processing Ltd., hade varnat på LinkedIn för metaanalyser som försöker "dra slutsatser om oförenliga och dåligt definierade resultat" från olika populationer. "Den enda anledningen till att göra dessa studier verkar vara att statistik- och metaanalysverktyg kan mala fram siffror som ser ut som vetenskap," skrev Tuomi.

Den 22 april 2026 publicerade Springer Nature ett återkallningsmeddelande som noterade "farhågor angående avvikelser i metaanalysen" och att "författarna inte hade svarat på korrespondens angående återkallelsen." Williamson delade meddelandet på Bluesky och LinkedIn, orolig för att många läsare skulle missa återkallelsen och att "huvudfyndet att ChatGPT hjälper lärandeprestation kan bestå trots återkallelsen."

"Allt detta är enormt frustrerande för oss som försöker förstå vad AI betyder för lärande, undervisning och utbildning mer generellt," sade Williamson till Ars. "Vi har haft flera år av hype om AI i utbildning, men vad vi verkligen har behövt är högkvalitativ forskning som faktiskt kan visa oss vilka effekter AI har i klassrum och lärandepraktiker."

Under tiden kämpar lärare för att förhindra AI-underlättat fusk, teknikföretag pushar "studieläge"-chatbotar och SAT-övningsverktyg, och minst ett land återinför fysiska böcker och penna-och-papper-lärande. Men hej, en återkallad metaanalys sade att ChatGPT är bra, så vem behöver bevis?