Under de senaste åren har vi alla fått en crash course i vad företag kallar artificiell intelligens – vilket mestadels har inneburit stora språkmodeller (LLM). Men LLM är inte längre den enda AI-kategorin som lockar massiv finansiering och andlös hype. Steg in "världsmodeller", som syftar till att simulera den fysiska världen, eller åtminstone en användbar approximation av den. Istället för att bara chatta vill dessa system låta dig peta runt i en 3D-miljö som om det vore ett videospel, fast med mer matematik och färre loot boxes.

För att förstå vad som är annorlunda med världsmodeller pratade Ars med tre experter: Vincent Sitzmann från MIT, Anastasis Germanidis från Runway och Ben Mildenhall från World Labs. Deras samsyn: medan LLM började med ett chattgränssnitt och sedan letade efter en användning, börjar världsmodeller med specifika tillämpningar – robotik, forskning, tillgångsgenerering – och har inte riktigt listat ut hur gränssnittet ska se ut. Tänk på det som AI som arbetar baklänges, vilket är helt i linje med varumärket.

Alla är inte sålda på LLM som vägen till allmän intelligens. Tidigare Meta-chefen för AI Yann LeCun sa till Wired att idén om LLM som uppnår mänsklig intelligens är "fullständigt nonsens." Fei-Fei Li, dataseendepionjär och medgrundare av World Labs, skrev att LLM är "ordkonstnärer i mörkret; vältaliga men oerfarna, kunniga men ogrundade." Till och med Hugging Faces vd Clem Delangue tror att vi befinner oss i en "LLM-bubbla" som kan spricka nästa år. Så världsmodeller är det nya heta, åtminstone tills något ännu hetare dyker upp.

Världsmodeller har redan lockat ögonbedövande finansiering: World Labs och AMI rapporteras ha samlat in cirka 1 miljard dollar vardera i februari och mars, och Runway samlade in 315 miljoner dollar i februari. Det är mycket pengar för en term som, som Sitzmann medger, är "definitivt överbelastad." Hans definition: vilken modell som helst som tar en interaktion och simulerar vad som händer härnäst. Runways definition lägger till att den bygger en intern representation av en miljö. Mildenhall säger att den viktiga skillnaden från LLM är kontinuerlig, realtidsinteraktion – inte den turordnade textutbytet av "A sedan B sedan A sedan B." Fei-Fei Li erbjuder tre kriterier: perceptuell, geometrisk och fysisk konsistens; multimodalitet; och förmågan att mata ut nästa tillstånd baserat på inmatade handlingar.

Men "världsmodell" håller också på att bli ett varumärkesord. Företag slänger på det på allt från handlingskonditionerad videogenerering till 3D-tillgångsskapande till robotpolicyutvärdering. För nu, säger Sitzmann, "vad de flesta menar när de säger 'världsmodell' är att generera pixlar" – dvs. realistisk video konditionerad på handlingar. Det är en naturlig förlängning av videogenereringsmodeller, vilket Runway redan gör. Som Germanidis uttryckte det, när de lade till kamerakontroller till sina videoverktyg, "började det kännas mer som ett videospel."

Den tekniska utmaningen: de flesta videodiffusionsmodeller genererar alla bildrutor på en gång, avbrusar hela sekvensen i ett svep. Det är bra för koherens men hemskt för interaktivitet – du kan inte ingripa mitt i genereringen. Lösningen för världsmodeller är autoregressiv diffusion, som avbrusar bildrutor sekventiellt. Användare kan ge handlingar som påverkar nästa bildrutor i realtid. Nackdelen: det är beräkningskrävande, och simuleringen tenderar att driva, glömma tidigare detaljer. Germanidis hoppas att 3D-konsistens kommer att "framträda ur skala", en nick till vad datavetaren Richard Sutton kallade "den bittra läxan": explicit mänsklig kunskap kommer ofta i vägen. Så de satsar stort på råstyrka.

Kort sagt, världsmodeller är där AI går för att simulera verkligheten, ett dyrt avbrusningssteg i taget. Huruvida de kommer att leverera på löftet eller bara producera väldigt snygga deepfakes återstår att se – men finansieringsrundorna antyder att investerare är villiga att ta reda på det.