Um estudo que declarou com confiança que o ChatGPT da OpenAI pode melhorar o aprendizado dos alunos foi retratado, cerca de um ano após sua publicação, depois que a Springer Nature identificou "discrepâncias" na análise e perdeu a fé em suas conclusões. Não que o artigo se importasse - ele já havia acumulado centenas de citações e desfrutado de uma volta gloriosa pelas redes sociais antes de ter o plugue puxado.
"Os autores do artigo fizeram afirmações muito chamativas sobre os benefícios do ChatGPT nos resultados de aprendizagem", disse Ben Williamson, professor sênior do Centro de Pesquisa em Educação Digital e do Instituto de Futuros de Edimburgo da Universidade de Edimburgo, em um e-mail ao Ars. "Foi tratado por muitos nas redes sociais como uma das primeiras peças de evidência sólida, padrão ouro, de que o ChatGPT, e a IA generativa de forma mais ampla, beneficia os alunos."
O artigo retratado visava quantificar "o efeito do ChatGPT no desempenho de aprendizagem, na percepção de aprendizagem e no pensamento de ordem superior dos alunos" analisando resultados de 51 estudos anteriores. Sua meta-análise calculou tamanhos de efeito entre grupos experimentais que usaram ChatGPT e grupos de controle que não usaram, supostamente mostrando "um grande impacto positivo na melhoria do desempenho de aprendizagem", juntamente com um "impacto moderadamente positivo no aprimoramento da percepção de aprendizagem" e "promoção do pensamento de ordem superior". As descobertas apareceram pela primeira vez no Humanities & Social Sciences Communications em 6 de maio de 2025.
Williamson observou que o artigo parecia estar "sintetizando estudos de qualidade muito baixa, ou misturando descobertas de estudos que simplesmente não podem ser comparados com precisão devido a métodos, populações e amostras muito diferentes". Ele também questionou o timing - apenas dois anos e meio após o lançamento do ChatGPT em novembro de 2022. "Não é viável que dezenas de estudos de alta qualidade sobre ChatGPT e desempenho de aprendizagem tenham sido conduzidos, revisados e publicados nesse período", disse ele.
Desde a publicação, o estudo foi citado 262 vezes em periódicos revisados por pares da Springer Nature e 504 vezes no total, atraiu quase meio milhão de leitores e obteve o 99º percentil de atenção. "Todos os detalhes do estudo foram descartados", lamentou Williamson. "Tudo o que restou foram as principais afirmações, que certos usuários de redes sociais ajudaram a impulsionar e propagar."
Ilkka Tuomi, cientista-chefe da Meaning Processing Ltd., havia alertado no LinkedIn sobre meta-análises tentando "tirar conclusões sobre resultados incompatíveis e mal definidos" de diferentes populações. "A única razão para fazer esses estudos parece ser que as ferramentas de estatística e meta-análise podem gerar números que parecem ciência", escreveu Tuomi.
Em 22 de abril de 2026, a Springer Nature publicou um aviso de retratação observando "preocupações em relação a discrepâncias na meta-análise" e que "os autores não responderam à correspondência sobre a retratação". Williamson compartilhou o aviso no Bluesky e no LinkedIn, preocupado que muitos leitores perdessem a retratação e que "a descoberta principal de que o ChatGPT ajuda no desempenho de aprendizagem possa persistir apesar de sua retratação".
"Tudo isso é extremamente frustrante para aqueles de nós que estão tentando entender o que a IA significa para a aprendizagem, o ensino e a educação em geral", disse Williamson ao Ars. "Tivemos vários anos de hype sobre IA na educação, mas o que realmente precisávamos era de pesquisa de alta qualidade que pudesse realmente nos mostrar que tipos de impactos a IA está tendo nas salas de aula e nas práticas de aprendizagem."
Enquanto isso, educadores se apressam para prevenir a trapaça habilitada por IA, empresas de tecnologia promovem chatbots de "modo de estudo" e ferramentas de prática para o SAT, e pelo menos um país está reintroduzindo livros físicos e aprendizado com papel e caneta. Mas ei, uma meta-análise retratada disse que o ChatGPT é ótimo, então quem precisa de evidências?