Исследование, уверенно заявлявшее, что OpenAI ChatGPT может улучшить успеваемость студентов, было отозвано примерно через год после публикации, после того как Springer Nature обнаружил «расхождения» в анализе и потерял веру в его выводы. Не то чтобы статья возражала — она уже набрала сотни цитирований и совершила славный круг по социальным сетям, прежде чем plug был выдернут.

«Авторы статьи сделали очень привлекающие внимание заявления о преимуществах ChatGPT для результатов обучения», — написал Бен Уильямсон, старший преподаватель Центра исследований цифрового образования Эдинбургского университета и Эдинбургского института будущего, в электронном письме Ars. «Многие в социальных сетях восприняли это как одно из первых кусков твёрдых, золотых стандартов доказательств того, что ChatGPT и генеративный ИИ в целом приносят пользу учащимся».

Отозванная статья стремилась количественно оценить «влияние ChatGPT на успеваемость студентов, восприятие обучения и мышление высшего порядка», анализируя результаты 51 предыдущего исследования. Её мета-анализ вычислял размеры эффекта между экспериментальными группами, использовавшими ChatGPT, и контрольными группами, которые его не использовали, якобы показывая «большое положительное влияние на улучшение успеваемости» наряду с «умеренно положительным влиянием на улучшение восприятия обучения» и «развитие мышления высшего порядка». Результаты впервые появились в Humanities & Social Sciences Communications 6 мая 2025 года.

Уильямсон отметил, что статья, похоже, «синтезировала очень некачественные исследования или смешивала результаты исследований, которые просто невозможно точно сравнить из-за очень разных методов, популяций и выборок». Он также поставил под сомнение сроки — всего через два с половиной года после выпуска ChatGPT в ноябре 2022 года. «Невозможно, чтобы за это время были проведены, рецензированы и опубликованы десятки качественных исследований о ChatGPT и успеваемости», — сказал он.

С момента публикации исследование цитировалось 262 раза в рецензируемых журналах Springer Nature и 504 раза в целом, привлекло почти полмиллиона читателей и попало в 99-й процентиль по вниманию. «Все детали исследования были стёрты», — посетовал Уильямсон. «Остались только основные утверждения, которые определённые пользователи социальных сетей помогли продвигать и раскручивать».

Илкка Туоми, главный научный сотрудник Meaning Processing Ltd., предупреждал в LinkedIn о мета-анализах, пытающихся «делать выводы о несовместимых и плохо определённых результатах» из разных популяций. «Единственная причина проводить эти исследования, кажется, в том, что инструменты статистики и мета-анализа могут выдавать числа, которые выглядят как наука», — написал Туоми.

22 апреля 2026 года Springer Nature опубликовал уведомление об отзыве, отметив «обеспокоенность по поводу расхождений в мета-анализе» и что «авторы не ответили на переписку относительно отзыва». Уильямсон поделился уведомлением в Bluesky и LinkedIn, опасаясь, что многие читатели пропустят отзыв и что «главный вывод о том, что ChatGPT помогает успеваемости, может сохраниться, несмотря на отзыв».

«Всё это крайне разочаровывает тех из нас, кто пытается осмыслить, что ИИ означает для обучения, преподавания и образования в целом», — сказал Уильямсон Ars. «У нас было несколько лет шумихи вокруг ИИ в образовании, но на самом деле нам нужны были качественные исследования, которые могли бы реально показать, какое влияние ИИ оказывает в классах и учебных практиках».

Тем временем преподаватели пытаются предотвратить мошенничество с помощью ИИ, технологические компании продвигают «режим обучения» чат-ботов и инструменты для подготовки к SAT, и по крайней мере одна страна возвращает физические книги и обучение с ручкой и бумагой. Но эй, отозванный мета-анализ сказал, что ChatGPT отличен, так кому нужны доказательства?