누군가의 머리 위에 피아노를 떨어뜨려 놓고 악보를 검토해 달라고 요청하는 것과 다름없는, 학계판에서나 볼 수 있는 이 사태에서 OpenAI는 이번 주 700편이 넘는 원고에 걸쳐 AI가 생성한 수학적 결과물 약 400개를 공개했다. 수학계의 반응은 "경악스럽다"에서 "순전한 광기"까지 다양했는데, 그것도 점잖게 표현한 것들이었다.

이 컬렉션은 조합론, 기하학의 여러 분야, 정수론, 이론 컴퓨터 과학, 대수학, 위상수학, 확률 및 통계역학, 수리물리학을 아우른다. 그 규모가 너무 방대해서 OpenAI는 이 거대한 GitHub 저장소를 탐색하는 방법에 대한 안내문까지 공개해야 했다. 방금 불을 지른 건물의 지도를 건네주는 격이다.

"초록 목록 전체를 훑어보는 것만으로도 압도적입니다"라고 코네티컷 대학의 수학과 교수인 알바로 로사노-로블레도는 말했다. 여러 수학자들은 The Verge에 약 40페이지에 달하는 목차와 초록을 훑어보는 데만 한 시간 가까이 걸렸다고 전했다. 집에서 점수 매기는 사람들을 위해 설명하자면, 메뉴를 읽는 데만 한 시간이 걸린 셈이다.

수백 편의 원고 사이사이에는 결과를 계산적으로 검증할 수 있게 해주는 프로그래밍 언어이자 증명 보조 도구인 Lean으로 작성된 형식화가 흩어져 있다. 이러한 형식화는 OpenAI의 이전 수학적 주장 일부를 평가하는 데 결정적인 역할을 했으며, 연구자들이 논증의 배경을 완전히 이해하지 못하더라도 주장이 논리적으로 올바르다는 확신을 갖게 해주었다. 나눗셈이 뭔지도 모르면서 계산기를 믿는 것과 비슷하다.

하지만 각 결과물이 검증된 정도는 천차만별이었다. GitHub에서 OpenAI는 결과물들이 "다양한 검증 단계에 있다"며 "많은 원고가 형식화되었지만, 전부는 아니다"라고 인정했다. 기사 작성 시점 기준으로 컬렉션에 포함된 원고 중 절반도 채 형식적으로 설명되지 않은 것으로 보인다. OpenAI는 719편의 원고 중 300개의 핵심 결과물만 형식화되었다고 밝혔는데, 이는 약 42%에 해당하며, "추가 형식화를 확보하는 대로 저장소를 업데이트할 것"이라고 했다. 즉, 수학적 종말의 약 58%는 아직 검증되지 않은 상태다. 편안히 주무시라.

여러 수학자들은 특히 결과물의 수가 엄청난 점을 고려할 때 형식화 부족에 대해 The Verge에 불만을 토로했다. 결과물에 Lean 코드가 함께 제공되더라도 평가가 즉각적인 것은 아니다. 연구자들은 형식화가 실제로 결과물이 주장하는 바를 증명하는지 확인해야 하는데, 이 역시 시간이 많이 걸리는 과정이다. 논문을 파헤친 여러 사람들은 컴퓨터로 검증 가능한 증명이 제공된 경우에도 품질이 일관되지 않았고, 검증된 명제가 함께 제공된 원고의 주장과 항상 깔끔하게 대응되지 않는 것 같다고 말했다.

임페리얼 칼리지 런던의 수학과 교수인 케빈 버자드는 자신의 전공 분야인 대수적 정수론에서 수많은 정리를 확인했지만 그중 즉시 "눈에 띄는" 것은 약 6개에 불과했다고 말했다. 그중 Lean으로 형식 검증된 것으로 보이는 것은 거의 없었다. "따라서 나는 틀렸을 가능성이 있는 쓰레기를 읽거나, 다른 사람이 같은 일을 하기를 기다리거나, 누군가가 형식화하기를 기다린 후에야 결과가 올바른지 확신할 수 있습니다." 버자드의 우려는 다른 많은 연구자들의 공감을 얻었는데, 그들은 아마도 이번 주에 다른 할 일이 있었을 것이다.

버자드는 AI "쓰레기(slop)"에 대해 걱정하는 유일한 사람이 아니었다. 이는 온라인과 현실 세계, 특히 학술 논문에서 점점 더 많이 등장하는 저품질의, 자주 오류가 있는 AI 생성물을 가리키는 줄임말이다. 다른 분야와 마찬가지로 수학자들은 최근 몇 년간 ChatGPT와 Claude 같은 도구로 생성된 이런 자료가 엄청나게 증가했다고 The Verge에 말했다. 대부분은 혼란스럽고 읽기 어려우며 주제에 대한 이해가 거의 없음을 보여준다. 특히 다른 연구자들의 공로를 인정하는 부분에서 형편없다. OpenAI의 이전 수학 논문들은 전문가들로부터 널리 비판을 받았다.