Weltmodelle: Die KI, die verspricht, alles zu simulieren – oder zumindest sehr coole Videos zu machen

In den letzten Jahren haben wir alle einen Crashkurs in dem bekommen, was Unternehmen als künstliche Intelligenz bezeichnen – was meistens große Sprachmodelle (LLMs) bedeutete. Aber LLMs sind nicht mehr die einzige KI-Kategorie, die massive Finanzierungen und atemlose Hype anzieht. Betreten Sie die Bühne: „Weltmodelle“, die darauf abzielen, die physische Welt zu simulieren, oder zumindest eine brauchbare Annäherung daran. Statt nur zu chatten, wollen diese Systeme, dass Sie in einer 3D-Umgebung herumstöbern können, als wäre es ein Videospiel, aber mit mehr Mathematik und weniger Lootboxen.

Um zu verstehen, was Weltmodelle anders macht, sprach Ars mit drei Experten: Vincent Sitzmann vom MIT, Anastasis Germanidis von Runway und Ben Mildenhall von World Labs. Ihr Konsens: Während LLMs mit einer Chat-Oberfläche begannen und dann nach einem Anwendungsfall suchten, starten Weltmodelle mit spezifischen Anwendungen – Robotik, Forschung, Asset-Generierung – und haben noch nicht ganz herausgefunden, wie die Oberfläche aussehen soll. Stellen Sie es sich als KI vor, die rückwärts arbeitet, was irgendwie typisch ist.

Nicht jeder ist davon überzeugt, dass LLMs der Weg zur allgemeinen Intelligenz sind. Der frühere Meta-Chef-KI-Wissenschaftler Yann LeCun sagte gegenüber Wired, die Idee, dass LLMs menschenähnliche Intelligenz erreichen, sei „kompletter Unsinn“. Fei-Fei Li, Pionierin der Computer Vision und Mitbegründerin von World Labs, schrieb, LLMs seien „Wortschmiede im Dunkeln; eloquent, aber unerfahren, wissend, aber unverankert“. Sogar Hugging Face CEO Clem Delangue denkt, wir befinden uns in einer „LLM-Blase“, die nächstes Jahr platzen könnte. Also sind Weltmodelle der neue heiße Scheiß, zumindest bis etwas noch Heißeres kommt.

Weltmodelle haben bereits atemberaubende Finanzierungen angezogen: World Labs und AMI haben Berichten zufolge im Februar und März jeweils rund 1 Milliarde Dollar eingesammelt, und Runway sammelte im Februar 315 Millionen Dollar. Das ist eine Menge Geld für einen Begriff, der, wie Sitzmann zugibt, „definitiv überladen“ ist. Seine Definition: Jedes Modell, das eine Interaktion nimmt und simuliert, was als nächstes passiert. Runways Definition fügt hinzu, dass es eine interne Repräsentation einer Umgebung aufbaut. Mildenhall sagt, der Hauptunterschied zu LLMs sei die kontinuierliche, Echtzeit-Interaktion – nicht der rundenbasierte Textaustausch von „A dann B dann A dann B“. Fei-Fei Li bietet drei Kriterien: wahrnehmungsmäßige, geometrische und physikalische Konsistenz; Multimodalität; und die Fähigkeit, basierend auf Eingabeaktionen nächste Zustände auszugeben.

Aber „Weltmodell“ wird auch zu einem Branding-Begriff. Unternehmen kleben ihn auf alles, von aktionsbedingter Videogenerierung über 3D-Asset-Erstellung bis hin zur Robotik-Policy-Evaluierung. Im Moment, sagt Sitzmann, „bedeutet das, was die meisten Leute meinen, wenn sie ‚Weltmodell‘ sagen, Pixel zu generieren“ – also realistisches Video, das auf Aktionen basiert. Das ist eine natürliche Erweiterung von Videogenerierungsmodellen, die Runway bereits macht. Wie Germanidis es ausdrückte: Als sie Kamerasteuerungen zu ihren Videotools hinzufügten, „fühlte es sich fast mehr wie ein Videospiel an“.

Die technische Herausforderung: Die meisten Video-Diffusionsmodelle generieren alle Frames auf einmal und entrauschen die gesamte Sequenz in einem Durchgang. Das ist großartig für Kohärenz, aber schrecklich für Interaktivität – man kann nicht mittendrin eingreifen. Die Lösung für Weltmodelle ist autoregressive Diffusion, die Frames sequenziell entrauscht. Benutzer können Aktionen bereitstellen, die die nächsten Frames in Echtzeit beeinflussen. Der Nachteil: Es ist rechenintensiv, und die Simulation neigt dazu, zu driften und frühere Details zu vergessen. Germanidis hofft, dass 3D-Konsistenz „aus der Größe entstehen“ wird, eine Anspielung auf das, was der Informatiker Richard Sutton „die bittere Lektion“ nannte: Explizites menschliches Wissen steht oft im Weg. Also setzen sie groß auf rohe Gewalt.

Kurz gesagt, Weltmodelle sind der Ort, an dem KI hingeht, um die Realität zu simulieren, einen teuren Entrauschungsschritt nach dem anderen. Ob sie das Versprechen einlösen oder nur sehr ausgefeilte Deepfakes produzieren werden, bleibt abzuwarten – aber die Finanzierungsrunden deuten darauf hin, dass Investoren bereit sind, es herauszufinden.