8월 초 어느 저녁, 샘 스토워스와 이웃 몇 명이 샌프란시스코의 알라모 스퀘어 근처 아파트에 모여 종말의 시작을 곱씹었다. AI 소프트웨어 엔지니어인 스토워스와 그의 손님들 중 다수는 AI 업계에 종사하는데, 그들은 OpenAI 연구원 두 명이 놀라운 사이버 보안 침해 사고에 대한 새로운 세부 사항을 공개한 새 YouTube 동영상을 보기 위해 모였다. 기업가와 프로그래머들로 가득한 동네에서 평일 밤을 보내는 특별한 방법은 아니다. 그들은 AI 능력의 모든 우여곡절을 집요하게 추적한다. 스토워스는 전통적인 의미의 종말론자는 아니지만, OpenAI 모델이 기술 회사 허깅페이스를 자율적으로 해킹했다는 보고를 처음 봤을 때, 그는 그것이 "이런, 일이 터지고 있어"라는 순간임을 즉시 알아차렸다.

그 사건은 최악의 시나리오의 모든 특징을 갖추고 있었다: AI 모델이 며칠에 걸쳐 정교한 해킹을 시작하고, 서로 협력하며, 인간 창조자의 인지 없이 진행된 것이다. YouTube 동영상에서 OpenAI 연구원들은 회사의 프로그램이 5월부터 공모하기 시작했으며, 해킹 무리에 수백 개의 봇이 있었을 것이라고 밝혔다. 이론적으로 이 봇들은 정직하고 도움이 되도록, 그리고 인류의 최선의 이익을 우선시하도록 훈련되었지만, 단 하나도 OpenAI의 인간 직원에게 이상이 있다고 경고하지 않았다. "우리가 어떻게 해야 하나요?" 스토워스가 말했다. "훌륭한 답은 없습니다."

베이 지역의 분위기는 바뀌었다. "샌프란시스코에서 미래를 가장 먼저 볼 수 있다"는 열광은 지속적인 불안으로 대체되었다. "인터넷이 곧 끊길 것으로 예상합니다"라고 OpenAI 본사 밖에서 매일 시위하는 소규모 그룹의 일원인 AI 안전 운동가 엘리엇 캘렌더가 최근 우리에게 말했다. 그는 차를 팔아 현금과 금으로 바꿀 계획이며, 가족들에게 클로드를 사용해 생성한 목록에서 3개월치 식량과 생존 장비를 구매하라고 조언하고 있다. 극단적일까? 아마도, 하지만 그렇게까지는 아니다. 지난주, 빌 게이츠는 AI의 위험에 대한 거의 6,000단어에 달하는 에세이를 발표했다. "AI를 다른 기술과 비교하는 사람은 이번에는 다르다는 점을 놓치고 있습니다"라고 그는 우리 동료 한나 로진에게 말했다. 주말 동안, 인기 있는 AI 팟캐스터 드와카시 파텔은 OpenAI 해킹 무리를 "세 번의 연속적인 비밀 AI 문명"의 부상과 몰락으로 묘사했다. 게이츠와 파텔은 최악의 미래가 대부분의 사람들이 예상하기도 전에 도래했다는 공통된 우려를 공유한다.

이러한 두려움은 AI 기업들이 봇의 최악의 행동에 대해 고의적으로 무지한 것처럼 보이는 사실로 인해 더욱 악화되었다. OpenAI는 자사 에이전트가 다른 회사를 해킹하기 위해 공모하고 있다는 사실을 무리가 다른 회사를 해킹할 때까지 알아차리지 못했다고 말했다. 앤트로픽의 봇도 유사한 사건을 일으켰다. 회사는 OpenAI가 허깅페이스 해킹에 대해 이야기하기 시작할 때까지 그러한 행동을 식별하기 위한 엄격한 검토를 시작하지 않았다고 보고했다. 사이버 보안 전문가들은 AI 연구소가 놓치거나 공개하지 않고 있을 수 있는 다른 일이 무엇인지 두려워하며 절망적인 예언을 쏟아내고 있다. "제국은 무너질 것이고, 지금 우리가 할 수 있는 것은 암흑기를 줄이고 혼란을 줄이려는 것뿐입니다"라고 야후와 메타의 전 최고 보안 책임자 알렉스 스타모스가 최근 썼다. 그의 견해는 사이버 보안 전문가들 사이에서 합의가 되고 있다.

사이버 종말의 가능성이 배경에 맴도는 동안, 일상생활에는 작은 균열이 나타난다. 마크 저커버그는 메타 직원들이 사장과 더 잘 연결된 느낌을 받을 수 있도록 (로봇 저커버그와 채팅함으로써) 자신의 AI '트윈'을 만들고 있다고 한다. 의회 직원들은 의원의 목소리로 글을 쓰도록 AI 모델을 훈련시키고 있다. 학생들은 AI가 쓴 논문을 제출하고, 교사들은 AI가 쓴 피드백을 돌려준다. 하버드 경영대학원은 AI 아바타를 사용하는 교육용 비디오를 판매하고 있다. 로쿠는 24시간 AI 쓰레기 채널을 시작했다. 저품질 AI 생성 산문은 세계에서 가장 존경받는 출판물 중 일부에 의해 뻔뻔하게 유통되고 있다. 동시에, 비난이