오픈AI의 챗GPT가 학생 학습을 향상시킬 수 있다고 자신 있게 선언한 연구가 출판 약 1년 만에 철회됐다. 스프링거 네이처가 분석에서 '불일치'를 발견하고 결론에 대한 신뢰를 잃었기 때문이다. 논문은 신경 쓰지 않았을 것이다. 이미 수백 건의 인용을 기록하고 소셜 미디어에서 화려한 한바탕을 즐긴 후 플러그가 뽑혔으니까.
"논문 저자들은 챗GPT가 학습 성과에 미치는 이점에 대해 매우 주목을 끄는 주장을 했습니다." 에든버러 대학 디지털 교육 연구 센터 및 에든버러 미래 연구소의 선임 강사인 벤 윌리엄슨이 Ars에 이메일로 말했다. "소셜 미디어의 많은 사람들이 챗GPT, 더 넓게는 생성형 AI가 학습자에게 이익이 된다는 최초의 확실한 증거 중 하나로 취급했습니다."
철회된 논문은 51개의 이전 연구 결과를 분석하여 '챗GPT가 학생의 학습 성과, 학습 인식, 고차원적 사고에 미치는 영향'을 정량화하려고 했다. 메타 분석은 챗GPT를 사용한 실험 그룹과 사용하지 않은 대조군 간의 효과 크기를 계산하여 '학습 성과 향상에 큰 긍정적 영향', '학습 인식 향상에 중간 정도의 긍정적 영향', '고차원적 사고 촉진'을 보여준다고 주장했다. 연구 결과는 2025년 5월 6일 Humanities & Social Sciences Communications에 처음 게재되었다.
윌리엄슨은 이 논문이 "매우 낮은 품질의 연구를 종합하거나, 방법, 모집단, 표본이 매우 달라 정확히 비교할 수 없는 연구들의 결과를 혼합한 것"으로 보인다고 지적했다. 또한 2022년 11월 챗GPT 출시 후 불과 2년 반 만에 발표된 시점에 의문을 제기했다. "그 기간 동안 챗GPT와 학습 성과에 관한 수십 건의 고품질 연구가 수행, 검토, 출판되는 것은 불가능합니다."라고 말했다.
출판 이후 이 연구는 스프링거 네이처 피어 리뷰 저널에서 262회, 전체 504회 인용되었고, 거의 50만 명의 독자를 끌었으며, 주목도에서 99백분위를 기록했다. "연구에 대한 모든 세부 사항이 벗겨졌습니다." 윌리엄슨은 한탄했다. "남은 것은 주요 주장뿐이었고, 특정 소셜 미디어 사용자들이 이를 부추기고 추진하는 데 도움을 주었습니다."
Meaning Processing Ltd.의 수석 과학자 Ilkka Tuomi는 LinkedIn에서 서로 다른 모집단에서 '호환되지 않고 불명확하게 정의된 결과에 대한 결론을 도출'하려는 메타 분석에 대해 경고했다. "이러한 연구를 수행하는 유일한 이유는 통계와 메타 분석 도구가 과학처럼 보이는 숫자를 뽑아낼 수 있기 때문인 것 같습니다."라고 Tuomi는 썼다.
2026년 4월 22일, 스프링거 네이처는 '메타 분석의 불일치에 대한 우려'와 '저자들이 철회 관련 서신에 응답하지 않았다'는 내용의 철회 공지를 게시했다. 윌리엄슨은 블루스카이와 LinkedIn에 공지를 공유하며 많은 독자들이 철회를 놓칠 것이고 '챗GPT가 학습 성과에 도움이 된다는 헤드라인 결과가 철회에도 불구하고 지속될 수 있다'고 우려했다.
"이 모든 것은 AI가 학습, 교육, 그리고 더 일반적으로 교육에 무엇을 의미하는지 이해하려고 애쓰는 우리에게 매우 실망스러운 일입니다." 윌리엄슨이 Ars에 말했다. "우리는 교육에서 AI에 대한 과대광고를 몇 년 동안 겪어왔지만, 실제로 필요한 것은 AI가 교실과 학습 관행에 어떤 영향을 미치는지 보여줄 수 있는 고품질 연구입니다."
한편, 교육자들은 AI 기반 부정행위를 막기 위해 분주히 움직이고, 기술 회사들은 '학습 모드' 챗봇과 SAT 연습 도구를 밀어붙이며, 적어도 한 국가는 물리적 책과 종이-펜 학습을 다시 도입하고 있다. 하지만, 철회된 메타 분석이 챗GPT가 훌륭하다고 말했으니, 누가 증거를 필요로 하겠는가?