De afgelopen jaren hebben we allemaal een spoedcursus gekregen in wat bedrijven kunstmatige intelligentie noemen - wat meestal neerkwam op grote taalmodellen (LLM's). Maar LLM's zijn niet langer de enige AI-categorie die enorme financiering en ademloze hype aantrekt. Maak kennis met "wereldmodellen", die tot doel hebben de fysieke wereld te simuleren, of op zijn minst een bruikbare benadering ervan. In plaats van alleen maar te chatten, willen deze systemen je laten rondneuzen in een 3D-omgeving alsof het een videospel is, maar dan met meer wiskunde en minder loot boxes.

Om te begrijpen wat er anders is aan wereldmodellen, sprak Ars met drie experts: Vincent Sitzmann van MIT, Anastasis Germanidis van Runway en Ben Mildenhall van World Labs. Hun consensus: terwijl LLM's begonnen met een chatinterface en vervolgens op zoek gingen naar een use case, beginnen wereldmodellen met specifieke toepassingen - robotica, onderzoek, assetgeneratie - en hebben ze nog niet helemaal uitgevogeld hoe de interface eruit moet zien. Zie het als AI die achteruit werkt, wat typisch is.

Niet iedereen is overtuigd van LLM's als de weg naar algemene intelligentie. Voormalig Meta-hoofd AI-wetenschapper Yann LeCun vertelde Wired dat het idee dat LLM's menselijke intelligentie bereiken "complete onzin" is. Fei-Fei Li, computer vision-pionier en medeoprichter van World Labs, schreef dat LLM's "woordsmeden in het donker zijn; welbespraakt maar onervaren, deskundig maar ongegrond." Zelfs Hugging Face-CEO Clem Delangue denkt dat we in een "LLM-bubbel" zitten die volgend jaar kan barsten. Dus wereldmodellen zijn de nieuwe hete aardappel, totdat er iets nog heter komt.

Wereldmodellen hebben al opzienbarende financiering aangetrokken: World Labs en AMI zouden in februari en maart elk ongeveer $1 miljard hebben opgehaald, en Runway haalde in februari $315 miljoen op. Dat is veel geld voor een term die, zoals Sitzmann toegeeft, "zeker overbelast" is. Zijn definitie: elk model dat een interactie neemt en simuleert wat er daarna gebeurt. Runway's definitie voegt toe dat het een interne representatie van een omgeving opbouwt. Mildenhall zegt dat het belangrijkste verschil met LLM's continue, real-time interactie is - niet de beurtgebonden tekstuitwisseling van "A dan B dan A dan B." Fei-Fei Li biedt drie criteria: perceptuele, geometrische en fysieke consistentie; multimodaliteit; en het vermogen om volgende toestanden uit te voeren op basis van invoeracties.

Maar "wereldmodel" wordt ook een brandingterm. Bedrijven plakken het op alles, van actie-geconditioneerde videogeneratie tot 3D-assetcreatie tot robotbeleidsevaluatie. Voor nu, zegt Sitzmann, "wat de meeste mensen bedoelen als ze 'wereldmodel' zeggen, is pixels genereren" - d.w.z. realistische video geconditioneerd op acties. Dat is een natuurlijke uitbreiding van videogeneratiemodellen, wat Runway al doet. Zoals Germanidis het zei: toen ze camerabediening toevoegden aan hun videotools, "begon het meer aan te voelen als een videospel."

De technische uitdaging: de meeste videodiffusiemodellen genereren alle frames tegelijk, waarbij de hele reeks in één keer wordt ontruist. Dat is geweldig voor coherentie, maar verschrikkelijk voor interactiviteit - je kunt niet ingrijpen tijdens de generatie. De oplossing voor wereldmodellen is autoregressieve diffusie, die frames sequentieel ontruist. Gebruikers kunnen acties verstrekken die de volgende frames in realtime beïnvloeden. Het nadeel: het is rekenintensief en de simulatie heeft de neiging af te dwalen, waarbij eerdere details worden vergeten. Germanidis hoopt dat 3D-consistentie "zal ontstaan uit schaal", een knipoog naar wat computerwetenschapper Richard Sutton "de bittere les" noemde: expliciete menselijke kennis staat vaak in de weg. Dus zetten ze groots in op brute kracht.

Kortom, wereldmodellen zijn waar AI naartoe gaat om de werkelijkheid te simuleren, één dure ontruisingsstap per keer. Of ze de belofte zullen waarmaken of alleen maar heel mooie deepfakes zullen produceren, moet nog blijken - maar de financieringsrondes suggereren dat investeerders bereid zijn om erachter te komen.