한 연구원이 앤스로픽에서 공개적으로 사직한 지 나흘 후, 그는 최고 AI 기업들이 "책임감 있게 행동하지 않고" 있으며 그들의 제품이 "우리 모두를 죽일" 수도 있다고 경고했다. 그리고 회사의 CEO인 다리오 아모데이는 사실상 이렇게 말했다: 그래, 일리 있는 지적이다. 오늘 그의 개인 웹사이트에 게재되고 소셜 미디어에 공유된 3,800단어 분량의 에세이에서 아모데이는 "우리는 AI 모델의 능력을 향상시키는 속도를 늦춰야 한다"고 썼다.

지금쯤이면 우리 모두는 AI 경영진들이 자신들이 서둘러 출시하려는 바로 그 제품에 대해 끔찍한 예언을 쏟아내는 것에 익숙해졌다. 아모데이의 에세이가 주목할 만한 점은 그 긴박감과 시기다. 최근 몇 주 동안 오픈AI, 앤스로픽 등이 우려스러운 사건들을 보고한 후, AI 에이전트가 제멋대로 날뛰는 것에 대한 우려는 가상에서 놀랍도록 현실로 바뀌었다. 문제는 이 경고가 이전 경고들보다 더 큰 영향을 미칠지, 즉 전혀 영향이 없을지 여부다. 그럴 가능성이 있다고 생각할 이유가 있다.

아모데이는 그가 "프런티어의 속도 조절"이라고 부르는 것, 즉 안전을 우선시하기 위해 최상위 AI 모델이 개선되는 속도를 완화하는 것에 대한 3단계 계획을 제시했다. 그는 이것이 일이 틀어질 확률을 줄여줄 것이라고 주장했다. 예를 들어 오픈AI 모델이 AI 에이전트 무리를 만들어 비밀리에 협력하여 다른 회사의 시스템을 해킹하고 내부 테스트에서 부정행위를 한 사건 같은 것이다. 그는 자신의 회사를 포함한 최상위 AI 기업들이 위험한 "바닥으로의 경쟁"에 갇혀 있으며, 이는 인터넷 전체를 장악하는 것과 같은 더 심각한 사이버 공격으로 이어질 수 있다고 말했다. 대신 그는 "정상으로의 경쟁"을 촉구했다. 이는 버락 오바마 대통령이 교육 정책에 사용했던 표현이다. 기업들이 가장 강력한 모델이 아니라 가장 안전한 모델을 만들기 위해 경쟁하는 것이다. 아모데이는 "내가 안전한 속도로 프런티어를 발전시키기 위해 제안하는 조치들은 쉽지 않을 것"이라고 썼다. "하지만 나는 인류를 위해 시도할 의무가 있다고 믿는다."

첫 번째 단계: AI 연구소들이 위험을 감시할 외부 모니터를 도입하기로 약속하는 것. 그는 앤스로픽이 즉시 이를 약속하고 경쟁사들도 따르기를 희망한다고 말했다. 두 번째: 민주주의 국가의 AI 기업들이 정부 지원을 받아 특정 한계와 안전 기준에 동의하는 것. 세 번째이자 가장 어려운 과제: "글로벌 협력"으로, 이는 주로 중국을 참여시키는 것을 의미한다. 기술계는 이 문제에 대해 분열되어 있다. 일부는 제로섬 경쟁에서 협력이 불가능하다고 주장하고, 다른 일부는 대안이 상호 파멸임을 인정한다면 국가들이 공통점을 찾을 수 있다고 믿는다.

AI 거물들의 공개적인 신중론은 ChatGPT만큼이나 오래된 전통이다. 첫 번째 큰 사건은 2023년 3월, 수천 명의 업계 및 학계 인사들이 생명의 미래 연구소 서한에 서명하여 "거대 AI 실험"을 6개월간 중단할 것을 촉구한 것이다. 아모데이는 오늘 그 아이디어가 당시에는 "거의 의미가 없다"고 생각했다고 말했다. GPT-4가 그렇게 무서울 만큼 강력하지 않았기 때문이다. 그는 "그러나 오늘날 상황은 완전히 다르다"고 썼다. 한편 대중은 주목하기 시작했다. 여론조사는 미국인들이 통제되지 않는 AI에 대해 더 걱정하고 분노하며, 이 기술에 반대하는 놀랍도록 초당파적인 포퓰리즘 운동을 부추기고 있음을 보여준다.

일부는 아모데이의 에세이를 자신의 기술이 전례 없다고 사람들이 믿게 하는 데 이해관계가 있는 경영진의 최신 뻔뻔한 허세로 치부할 것이다. (월스트리트 저널에 따르면 다음 달로 계획된 앤스로픽의 IPO는 약 1,000억 달러의 투자를 유치하여 회사 가치를 2조 달러로 만들 수 있다.) AI 회의론자와 가속주의자 모두 그러한 경고를 "둠주의"라고 조롱하는 경향이 있다. 회의론자들은 정교한 마케팅 전략을 본다: 이런, 우리 제품이 너무 강력해지고 있어! 가속주의자들은 기존 기업들이 기술을 독점하려는 냉소적인 술책으로 치부한다.

하지만 오컴의 면도날은 아모데이가 대체로 진실하다고 시사한다. 직업과 양심이 있는 거의 모든 사람은 정말로 속도를 늦추고 더 신중하게 일해야 한다고 느끼지만, 경쟁자가 먼저 해버릴 것이기 때문에 그럴 여유가 없다는 것을 공감할 수 있다. 나는 속보 기사를 쓸 때 그런 (분명히 덜 종말론적인) 버전을 느낀다. 그