Badanie, które z pewnością siebie ogłosiło, że ChatGPT od OpenAI może poprawić wyniki w nauce, zostało wycofane mniej więcej rok po publikacji, gdy Springer Nature zauważyło „rozbieżności” w analizie i straciło wiarę w jego wnioski. Nie żeby artykuł się tym przejmował – zdążył już zebrać setki cytowań i odbyć chwalebne tournée po mediach społecznościowych, zanim odcięto mu prąd.

„Autorzy artykułu wysunęli bardzo przyciągające uwagę twierdzenia na temat korzyści z ChatGPT dla wyników w nauce” – powiedział Ben Williamson, starszy wykładowca w Centrum Badań nad Edukacją Cyfrową i Edynburskim Instytucie Przyszłości na Uniwersytecie w Edynburgu, w e-mailu do Ars. „W mediach społecznościowych traktowano go jako jeden z pierwszych twardych dowodów najwyższej próby, że ChatGPT, a szerzej generatywna AI, przynosi korzyści uczniom”.

Wycofany artykuł miał na celu określenie ilościowe „wpływu ChatGPT na wyniki w nauce, postrzeganie uczenia się i myślenie wyższego rzędu” poprzez analizę wyników 51 wcześniejszych badań. Jego metaanaliza obliczyła wielkości efektu między grupami eksperymentalnymi korzystającymi z ChatGPT a grupami kontrolnymi, które go nie używały, rzekomo wykazując „duży pozytywny wpływ na poprawę wyników w nauce” wraz z „umiarkowanie pozytywnym wpływem na poprawę postrzegania uczenia się” i „wspieraniem myślenia wyższego rzędu”. Wyniki po raz pierwszy ukazały się w Humanities & Social Sciences Communications 6 maja 2025 roku.

Williamson zauważył, że artykuł wydawał się „syntetyzować bardzo słabej jakości badania lub mieszać wyniki badań, których po prostu nie można dokładnie porównać ze względu na bardzo różne metody, populacje i próby”. Zakwestionował również timing – zaledwie dwa i pół roku po premierze ChatGPT w listopadzie 2022 roku. „Nie jest możliwe, aby w tym czasie przeprowadzono, zrecenzowano i opublikowano dziesiątki wysokiej jakości badań na temat ChatGPT i wyników w nauce” – powiedział.

Od publikacji badanie było cytowane 262 razy w recenzowanych czasopismach Springer Nature i 504 razy łącznie, przyciągnęło prawie pół miliona czytelników i znalazło się w 99. percentylu pod względem uwagi. „Wszystkie szczegóły badania zostały odarte” – ubolewał Williamson. „Pozostały tylko główne twierdzenia, które niektórzy użytkownicy mediów społecznościowych pomogli wypromować i rozpropagować”.

Ilkka Tuomi, główny naukowiec Meaning Processing Ltd., ostrzegał na LinkedIn przed metaanalizami próbującymi „wyciągać wnioski na temat niekompatybilnych i źle zdefiniowanych wyników” z różnych populacji. „Jedynym powodem, dla którego przeprowadza się te badania, wydaje się być to, że statystyka i narzędzia metaanalizy mogą wypluć liczby, które wyglądają jak nauka” – napisał Tuomi.

22 kwietnia 2026 roku Springer Nature opublikowało notę o wycofaniu, w której stwierdzono „obawy dotyczące rozbieżności w metaanalizie” oraz że „autorzy nie odpowiedzieli na korespondencję dotyczącą wycofania”. Williamson udostępnił notę na Bluesky i LinkedIn, obawiając się, że wielu czytelników przegapi wycofanie i że „główne odkrycie, że ChatGPT pomaga w wynikach w nauce, może przetrwać pomimo wycofania”.

„Wszystko to jest niezwykle frustrujące dla tych z nas, którzy starają się zrozumieć, co AI oznacza dla uczenia się, nauczania i edukacji w ogóle” – powiedział Williamson Ars. „Mieliśmy kilka lat szumu wokół AI w edukacji, ale tak naprawdę potrzebujemy wysokiej jakości badań, które faktycznie pokażą nam, jakie skutki AI wywiera w klasach i praktykach edukacyjnych”.

Tymczasem nauczyciele gorączkowo starają się zapobiegać oszustwom wspomaganym przez AI, firmy technologiczne promują chatboty w trybie „nauki” i narzędzia do ćwiczeń SAT, a co najmniej jeden kraj ponownie wprowadza fizyczne książki i naukę piórem i papierem. Ale hej, wycofana metaanaliza stwierdziła, że ChatGPT jest świetny, więc po co komu dowody?