지난 몇 년 동안 우리는 기업들이 인공지능이라고 부르는 것에 대해 급속도로 배워왔다. 대부분은 대규모 언어 모델(LLM)을 의미했다. 하지만 LLM만이 막대한 자금과 숨 막히는 과대광고를 끌어모으는 AI 범주는 더 이상 아니다. 이제 '세계 모델'이 등장했다. 이는 물리적 세계, 또는 적어도 유용한 근사치를 시뮬레이션하는 것을 목표로 한다. 단순히 채팅하는 대신, 이 시스템들은 사용자가 비디오 게임처럼 3D 환경을 탐험할 수 있게 해주지만, 수학은 더 많고 루트 박스는 더 적다.

세계 모델이 무엇이 다른지 이해하기 위해 Ars는 MIT의 빈센트 시츠만, Runway의 아나스타시스 게르마니디스, World Labs의 벤 밀덴홀 등 세 명의 전문가와 대화를 나눴다. 그들의 합의: LLM이 채팅 인터페이스로 시작해 사용 사례를 찾은 반면, 세계 모델은 특정 응용 분야(로봇 공학, 연구, 자산 생성)에서 시작해 인터페이스가 어떻게 생겨야 하는지 아직 제대로 파악하지 못했다. AI가 거꾸로 작동하는 셈인데, 이는 그들의 스타일과 맞아떨어진다.

모든 사람이 LLM을 일반 지능으로 가는 길로 확신하는 것은 아니다. 전 메타 최고 AI 과학자 얀 르쿤은 LLM이 인간 수준의 지능을 달성할 것이라는 생각이 "완전한 넌센스"라고 Wired에 말했다. 컴퓨터 비전 선구자이자 World Labs의 공동 창립자 페이페이 리는 LLM이 "어둠 속의 말재주꾼; 유창하지만 경험이 없고, 지식은 많지만 근거가 부족하다"고 썼다. Hugging Face CEO 클렘 들랑그조차 우리가 내년에 터질지도 모르는 "LLM 거품"에 있다고 생각한다. 따라서 세계 모델은 더 뜨거운 것이 나타날 때까지 새로운 인기 아이템이다.

세계 모델은 이미 엄청난 자금을 유치했다: World Labs와 AMI는 2월과 3월에 각각 약 10억 달러를 모금했고, Runway는 2월에 3억 1500만 달러를 모금했다. 시츠만이 인정하듯 "확실히 과부하된" 용어에 비해 엄청난 돈이다. 그의 정의: 상호작용을 받아 다음에 일어날 일을 시뮬레이션하는 모든 모델. Runway의 정의는 환경의 내부 표현을 구축한다는 점을 추가한다. 밀덴홀은 LLM과의 주요 차이점은 연속적이고 실시간 상호작용이라고 말한다. "A 다음 B, 그 다음 A 다음 B"라는 턴제 텍스트 교환이 아니다. 페이페이 리는 세 가지 기준을 제시한다: 지각적, 기하학적, 물리적 일관성; 다중 모드; 입력 동작에 기반한 다음 상태 출력 능력.

하지만 '세계 모델'은 브랜딩 용어가 되어가고 있다. 기업들은 동작 조건부 비디오 생성부터 3D 자산 생성, 로봇 정책 평가까지 모든 것에 이 용어를 붙인다. 현재로서는 시츠만에 따르면 "대부분의 사람들이 '세계 모델'이라고 말할 때 의미하는 것은 픽셀 생성"이다. 즉, 동작에 조건화된 사실적인 비디오다. 이는 Runway가 이미 하는 비디오 생성 모델의 자연스러운 확장이다. 게르마니디스가 말했듯, 그들이 비디오 도구에 카메라 제어를 추가했을 때 "거의 비디오 게임처럼 느껴지기 시작했다."

기술적 과제: 대부분의 비디오 확산 모델은 모든 프레임을 한 번에 생성하여 전체 시퀀스를 한 번에 노이즈 제거한다. 이는 일관성에는 좋지만 상호작용성에는 끔찍하다. 중간에 개입할 수 없기 때문이다. 세계 모델의 해결책은 자기회귀 확산으로, 프레임을 순차적으로 노이즈 제거한다. 사용자는 실시간으로 다음 프레임에 영향을 미치는 동작을 제공할 수 있다. 단점: 계산 비용이 많이 들고, 시뮬레이션이 표류하여 초기 세부 사항을 잊어버리는 경향이 있다. 게르마니디스는 3D 일관성이 "규모에서 나타날 것"이라고 기대하는데, 이는 컴퓨터 과학자 리처드 서튼이 "쓴 교훈"이라고 부른 것에 대한 고개 숙임이다: 명시적인 인간 지식은 종종 방해가 된다. 그래서 그들은 무차별 대입에 크게 베팅하고 있다.

요컨대, 세계 모델은 AI가 현실을 시뮬레이션하기 위해 가는 곳이며, 한 번에 하나씩 값비싼 노이즈 제거 단계를 거친다. 그들이 약속을 이행할지 아니면 단지 아주 멋진 딥페이크를 만들어낼지는 두고 봐야 하지만, 자금 조달 라운드는 투자자들이 알아내려는 의지가 있음을 시사한다.