एक अध्ययन जिसने पूरे विश्वास के साथ दावा किया था कि OpenAI का ChatGPT छात्रों की सीखने की क्षमता में सुधार कर सकता है, प्रकाशन के लगभग एक साल बाद वापस ले लिया गया, जब Springer Nature ने विश्लेषण में "विसंगतियाँ" देखीं और उसके निष्कर्षों पर विश्वास खो दिया। यह नहीं कि पेपर को कोई फर्क पड़ा - उसने पहले ही सैकड़ों उद्धरण बटोर लिए थे और सोशल मीडिया पर एक शानदार दौर लगाया था, इससे पहले कि प्लग खींचा गया।
"पेपर के लेखकों ने ChatGPT के सीखने के परिणामों पर लाभों के बारे में कुछ बहुत ही ध्यान खींचने वाले दावे किए थे," एडिनबर्ग विश्वविद्यालय के सेंटर फॉर रिसर्च इन डिजिटल एजुकेशन और एडिनबर्ग फ्यूचर्स इंस्टीट्यूट में वरिष्ठ व्याख्याता बेन विलियमसन ने Ars को एक ईमेल में कहा। "सोशल मीडिया पर कई लोगों ने इसे पहले ठोस, स्वर्ण-मानक सबूतों में से एक माना कि ChatGPT, और व्यापक रूप से जनरेटिव AI, शिक्षार्थियों को लाभ पहुँचाता है।"
वापस लिए गए पेपर का उद्देश्य 51 पिछले अध्ययनों के परिणामों का विश्लेषण करके "छात्रों के सीखने के प्रदर्शन, सीखने की धारणा और उच्च-क्रम सोच पर ChatGPT के प्रभाव" को मापना था। इसके मेटा-विश्लेषण ने प्रयोगात्मक समूहों (जिन्होंने ChatGPT का उपयोग किया) और नियंत्रण समूहों (जिन्होंने नहीं किया) के बीच प्रभाव आकारों की गणना की, जो कथित तौर पर "सीखने के प्रदर्शन में सुधार पर एक बड़ा सकारात्मक प्रभाव" के साथ-साथ "सीखने की धारणा को बढ़ाने पर मध्यम सकारात्मक प्रभाव" और "उच्च-क्रम सोच को बढ़ावा देने" को दर्शाता है। निष्कर्ष पहली बार 6 मई, 2025 को Humanities & Social Sciences Communications में प्रकाशित हुए थे।
विलियमसन ने कहा कि पेपर "बहुत खराब गुणवत्ता वाले अध्ययनों को संश्लेषित करता हुआ प्रतीत होता है, या विभिन्न तरीकों, आबादी और नमूनों के कारण अध्ययनों के निष्कर्षों को मिलाता है जिनकी सटीक तुलना नहीं की जा सकती।" उन्होंने समय पर भी सवाल उठाया - ChatGPT के नवंबर 2022 में रिलीज़ होने के सिर्फ ढाई साल बाद। "यह संभव नहीं है कि उस समय में ChatGPT और सीखने के प्रदर्शन के बारे में दर्जनों उच्च-गुणवत्ता वाले अध्ययन किए गए, समीक्षा किए गए और प्रकाशित किए गए हों," उन्होंने कहा।
प्रकाशन के बाद से, अध्ययन को Springer Nature की सहकर्मी-समीक्षित पत्रिकाओं में 262 बार और कुल 504 बार उद्धृत किया गया, लगभग पाँच लाख पाठकों को आकर्षित किया, और ध्यान के लिए 99वें प्रतिशत में स्थान प्राप्त किया। "अध्ययन के बारे में सभी विवरण छीन लिए गए," विलियमसन ने अफसोस जताया। "जो बचा था वह केवल प्रमुख दावे थे, जिन्हें कुछ सोशल मीडिया उपयोगकर्ताओं ने बढ़ावा देने और आगे बढ़ाने में मदद की।"
Meaning Processing Ltd. के मुख्य वैज्ञानिक इल्का तुओमी ने LinkedIn पर चेतावनी दी थी कि मेटा-विश्लेषण विभिन्न आबादी से "असंगत और खराब परिभाषित परिणामों के बारे में निष्कर्ष निकालने" का प्रयास करते हैं। "इन अध्ययनों को करने का एकमात्र कारण यह प्रतीत होता है कि सांख्यिकी और मेटा-विश्लेषण उपकरण ऐसे आंकड़े निकाल सकते हैं जो विज्ञान जैसे दिखते हैं," तुओमी ने लिखा।
22 अप्रैल, 2026 को, Springer Nature ने एक वापसी सूचना पोस्ट की जिसमें "मेटा-विश्लेषण में विसंगतियों के बारे में चिंताएँ" और "लेखकों ने वापसी के संबंध में पत्राचार का जवाब नहीं दिया था" का उल्लेख किया गया। विलियमसन ने सूचना को Bluesky और LinkedIn पर साझा किया, चिंता जताते हुए कि कई पाठक वापसी से चूक जाएंगे और "यह मुख्य निष्कर्ष कि ChatGPT सीखने के प्रदर्शन में मदद करता है, अपनी वापसी के बावजूद बना रह सकता है।"
"यह सब हममें से उन लोगों के लिए बेहद निराशाजनक है जो यह समझने की कोशिश कर रहे हैं कि AI का सीखने, शिक्षण और सामान्य रूप से शिक्षा के लिए क्या मतलब है," विलियमसन ने Ars को बताया। "हमारे पास शिक्षा में AI के बारे में कई वर्षों का प्रचार रहा है, लेकिन हमें वास्तव में उच्च-गुणवत्ता वाले शोध की आवश्यकता है जो वास्तव में हमें दिखा सके कि AI का कक्षाओं और सीखने की प्रथाओं पर किस प्रकार का प्रभाव पड़ रहा है।"
इस बीच, शिक्षक AI-सक्षम धोखाधड़ी को रोकने के लिए संघर्ष कर रहे हैं, तकनीकी कंपनियाँ "अध्ययन मोड" चैटबॉट और SAT अभ्यास उपकरणों को बढ़ावा दे रही हैं, और कम से कम एक देश भौतिक पुस्तकों और कलम-कागज सीखने को फिर से शुरू कर रहा है। लेकिन अरे, एक वापस लिए गए मेटा-विश्लेषण ने कहा कि ChatGPT महान है, तो सबूतों की क्या ज़रूरत है?