학문적 무결성에 가장 큰 위협이 학생이 위키피디아를 베끼는 거였던 때를 기억하나요? 그때는 참 단순한 시절이었죠. 이제 우리에겐 팡그램이 있습니다. 의심되는 봇 작성 텍스트에 대한 사실상의 판사, 배심원, 사형 집행관이 된 AI 탐지 도구인데, 상황을 더 악화시키고 있을지도 모릅니다.

팡그램은 최근 거의 모든 고위험 AI 글쓰기 의혹의 중심에 있었습니다. 출시 며칠 전에 철회된 공포 소설을 지목했고, 뉴욕타임스 기사가 챗봇이 썼다고 제안했으며, 수상 경력이 있는 단편 소설에 의문을 제기했고, 심지어 교황 레오 14세의 AI 위험에 관한 회칙 상당 부분이 AI가 썼다고 암시했습니다. 대학들은 학생 과제를 검증하는 데 사용하고, 과학 협회는 연구 논문을 스캔합니다. AI 글쓰기에 대한 공포가 닥칠 때, 팡그램은 바로 그 공포 버튼입니다.

불과 몇 년 전만 해도 신뢰할 수 있는 AI 탐지는 불가능해 보였습니다. 2023년, ZeroGPT는 미국 헌법이 AI가 작성했다고 선언했고, OpenAI는 '낮은 정확도'로 자체 탐지기를 포기했습니다. 그때는 ChatGPT의 글이 눈에 띄게 나빴을 때였죠. 이제 탐지 도구는 극적으로 개선되었고, 팡그램은 최고 표준으로 떠올랐습니다. 텍스트를 붙여넣으면 'AI 생성', 'AI 지원', 또는 '인간 작성'인지 알려줍니다.

하지만 최고 표준에도 문제는 있습니다. 여전히 변색될 수 있죠. 팡그램의 CEO 맥스 스페로는 알고리즘이 인간 텍스트를 AI로 잘못 표시하는 경우가 약 10,000번에 한 번꼴이라고 주장합니다. '무언가를 AI 생성이라고 말하는 것은 큰 책임과 무거운 짐입니다.' 스페로가 저에게 말했습니다. '우리가 그렇게 하는 유일한 이유는 극도로 확신하기 때문입니다.' 독립적인 분석도 그를 뒷받침합니다. 시카고 대학의 한 논문은 약 3,000개의 샘플 텍스트에서 거의 오탐지를 발견하지 못했습니다.

하지만 팡그램이 무언가가 인간이 썼다고 보장하는 능력은 더 불안정합니다. 위음성률, 즉 AI 텍스트를 인간으로 잘못 표시하는 비율은 스페로 자신의 테스트에 따르면 약 70분의 1에 가깝습니다. 그리고 이는 AI 연구소가 챗봇을 점점 더 자연스럽게 만들고, AI 텍스트를 위장하도록 설계된 '휴머나이저' 프로그램과의 군비 경쟁을 고려하기 전입니다.

저는 Walter Writes AI라는 휴머나이저를 테스트했습니다. ChatGPT와 Claude가 짧은 기사를 쓰게 한 후, Walter의 재작성을 거쳤습니다. ChatGPT의 '더 이상 무시할 수 없을 만큼 숫자가 커졌습니다'는 '이 사용량 수치의 엄청난 규모는 더 이상 무시할 수 없습니다'로 바뀌었습니다. 두 번 구워진 출력을 팡그램에 붙여넣었을 때, 항상 인간이 작성한 텍스트라고 선언했습니다. (전체 공개: The Atlantic은 AI 생성 텍스트를 명시하지 않고 사용하는 것을 금지하며, 저는 연구에 AI를 사용하지 않습니다.)

뉴욕시 공립 고등학교 교사 한 명은 '제 학생들의 과제 일부를 팡그램에 돌렸는데, 100% 인간으로 나옵니다. 하지만 그렇지 않다고 생각합니다.'라고 말했습니다. 그는 자신의 학생들이 무엇을 할 수 있는지 알고 있으며 팡그램을 의심할 충분한 이유가 있습니다. 하지만 학생을 잘못 고발하는 것은 큰 위험을 수반합니다: 낙제나 원망. '위험이 너무 큽니다.' 교사가 말했습니다. '하지만 AI가 생성한 것을 평가하는 우리의 방식은 여전히 너무 미숙합니다.'

상황을 더 복잡하게 만드는 것은 팡그램의 내부 작동이 불투명하다는 점입니다. 모델은 인간이 쓴 예시와 봇이 쓴 예시를 산더미처럼 학습했습니다. 잡지의 책 리뷰, 그리고 같은 잡지 스타일로 같은 책에 대해 ChatGPT가 쓴 리뷰를 구별하도록 훈련된 것입니다. 하지만 팡그램은 특정 증거나 패턴을 지적할 수 없습니다. '알고리즘의 내부 작동은 상당히 해석 불가능합니다.' 스페로가 인정했습니다. 그는 팡그램의 'AI 지원' 레이블을 더 세분화하고 싶지만, '여전히 얼마나 가능할지 확신하지 못합니다.' 우리는 또 다른 블랙박스 알고리즘에 의존하는 위험을 감수하고 있습니다.

스페로는 팡그램이 '절대 최종 중재자가 되어서는 안 되며' 조사의 출발점이 되어야 하고, 회사는 보고된 모든 오류를 조사한다고 주장합니다. 그는 연기 감지기와 TSA 스캐너도 기본 오류율이 있다고 지적합니다. 가장 큰 문제는 기술 자체가 아니라 탐지하려는 대상, 즉 스며드는 AI에 있다고 그는 주장합니다.