Een studie die vol vertrouwen beweerde dat OpenAI's ChatGPT het leren van studenten kan verbeteren, is ingetrokken, ongeveer een jaar na publicatie, nadat Springer Nature 'discrepanties' in de analyse ontdekte en het vertrouwen in de conclusies verloor. Niet dat het artikel erom maalde - het had al honderden citaten verzameld en een glorieuze ronde over sociale media gemaakt voordat de stekker eruit werd getrokken.
"De auteurs van het artikel deden enkele zeer opvallende uitspraken over de voordelen van ChatGPT voor leerresultaten," zei Ben Williamson, hoofddocent aan het Centre for Research in Digital Education en het Edinburgh Futures Institute van de Universiteit van Edinburgh, in een e-mail aan Ars. "Het werd door velen op sociale media behandeld als een van de eerste stukken hard, gouden standaard bewijs dat ChatGPT, en generatieve AI in bredere zin, leerlingen ten goede komt."
Het ingetrokken artikel probeerde 'het effect van ChatGPT op de leerprestaties, leerperceptie en hogere-orde denken van studenten' te kwantificeren door resultaten van 51 eerdere studies te analyseren. De meta-analyse berekende effectgroottes tussen experimentele groepen die ChatGPT gebruikten en controlegroepen die dat niet deden, wat zogenaamd 'een groot positief effect op het verbeteren van leerprestaties' liet zien, samen met een 'matig positief effect op het verbeteren van leerperceptie' en 'het bevorderen van hogere-orde denken'. De bevindingen verschenen voor het eerst in Humanities & Social Sciences Communications op 6 mei 2025.
Williamson merkte op dat het artikel leek op 'het synthetiseren van studies van zeer slechte kwaliteit, of het samenvoegen van bevindingen uit studies die simpelweg niet nauwkeurig kunnen worden vergeleken vanwege zeer verschillende methoden, populaties en steekproeven.' Hij betwijfelde ook de timing - slechts tweeënhalf jaar na de release van ChatGPT in november 2022. 'Het is niet haalbaar dat tientallen hoogwaardige studies over ChatGPT en leerprestaties in die tijd zijn uitgevoerd, beoordeeld en gepubliceerd,' zei hij.
Sinds publicatie werd de studie 262 keer geciteerd in peer-reviewed tijdschriften van Springer Nature en 504 keer in totaal, trok bijna een half miljoen lezers en scoorde in het 99e percentiel voor aandacht. 'Alle details van de studie werden weggestript,' klaagde Williamson. 'Wat overbleef waren de grote claims, die bepaalde sociale mediagebruikers hielpen versterken en voortstuwen.'
Ilkka Tuomi, hoofdwetenschapper van Meaning Processing Ltd., had op LinkedIn gewaarschuwd voor meta-analyses die proberen 'conclusies te trekken over onverenigbare en slecht gedefinieerde uitkomsten' uit verschillende populaties. 'De enige reden om deze studies te doen lijkt te zijn dat statistiek- en meta-analysetools getallen kunnen uitkramen die op wetenschap lijken,' schreef Tuomi.
Op 22 april 2026 plaatste Springer Nature een intrekkingsbericht waarin 'zorgen over discrepanties in de meta-analyse' werden genoemd en dat 'de auteurs niet hadden gereageerd op correspondentie over de intrekking.' Williamson deelde het bericht op Bluesky en LinkedIn, bezorgd dat veel lezers de intrekking zouden missen en dat 'de hoofdbewering dat ChatGPT helpt bij leerprestaties zou kunnen blijven bestaan ondanks de intrekking.'
'Dit alles is enorm frustrerend voor degenen onder ons die hard proberen te begrijpen wat AI betekent voor leren, lesgeven en onderwijs in het algemeen,' vertelde Williamson aan Ars. 'We hebben al enkele jaren hype over AI in het onderwijs, maar wat we echt nodig hebben is hoogwaardig onderzoek dat ons daadwerkelijk kan laten zien wat voor soort impact AI heeft in klaslokalen en leerpraktijken.'
Ondertussen haasten docenten zich om AI-gestuurd spieken te voorkomen, pushen techbedrijven 'studiemodus'-chatbots en SAT-oefentools, en voert ten minste één land fysieke boeken en pen-en-papier leren opnieuw in. Maar hé, een ingetrokken meta-analyse zei dat ChatGPT geweldig is, dus wie heeft er bewijs nodig?