W ciągu ostatnich kilku lat wszyscy przeszliśmy przyspieszony kurs tego, co firmy nazywają sztuczną inteligencją – co w większości oznaczało duże modele językowe (LLM). Ale LLM nie są już jedyną kategorią AI przyciągającą ogromne fundusze i gorączkowy szum. Witajcie „modele świata”, które mają na celu symulację fizycznego świata, a przynajmniej jego użytecznego przybliżenia. Zamiast tylko rozmawiać, systemy te chcą pozwolić ci buszować w środowisku 3D jak w grze wideo, ale z większą ilością matematyki i mniejszą ilością skrzynek z łupami.

Aby zrozumieć, co odróżnia modele świata, Ars rozmawiał z trzema ekspertami: Vincentem Sitzmannem z MIT, Anastasisem Germanidisem z Runway i Benem Mildenhallem z World Labs. Ich konsensus: podczas gdy LLM zaczynały od interfejsu czatu, a potem szukały zastosowania, modele świata zaczynają od konkretnych aplikacji – robotyki, badań, generowania zasobów – i jeszcze nie do końca wiedzą, jak powinien wyglądać interfejs. Pomyśl o tym jak o AI działającej od tyłu, co jest w jej stylu.

Nie wszyscy są przekonani, że LLM to droga do ogólnej inteligencji. Były główny naukowiec AI w Meta, Yann LeCun, powiedział Wired, że pomysł osiągnięcia przez LLM inteligencji na poziomie człowieka to „kompletna bzdura”. Fei-Fei Li, pionierka widzenia komputerowego i współzałożycielka World Labs, napisała, że LLM to „słowotwórcy w ciemności; elokwentni, ale niedoświadczeni, kompetentni, ale nieugruntowani”. Nawet CEO Hugging Face, Clem Delangue, uważa, że jesteśmy w „bańce LLM”, która może pęknąć w przyszłym roku. Więc modele świata są nowym gorącym tematem, przynajmniej do czasu, gdy pojawi się coś jeszcze gorętszego.

Modele świata już przyciągnęły oszałamiające fundusze: World Labs i AMI podobno zebrały około miliarda dolarów każda w lutym i marcu, a Runway zebrało 315 milionów dolarów w lutym. To dużo pieniędzy za termin, który, jak przyznaje Sitzmann, jest „zdecydowanie przeciążony”. Jego definicja: każdy model, który przyjmuje interakcję i symuluje, co stanie się dalej. Definicja Runway dodaje, że buduje on wewnętrzną reprezentację środowiska. Mildenhall mówi, że kluczową różnicą w stosunku do LLM jest ciągła, interaktywna w czasie rzeczywistym – a nie turowa wymiana tekstu „A potem B, potem A potem B”. Fei-Fei Li podaje trzy kryteria: spójność percepcyjna, geometryczna i fizyczna; multimodalność; oraz zdolność do generowania kolejnych stanów na podstawie działań wejściowych.

Ale „model świata” staje się też terminem brandingowym. Firmy przyklejają go do wszystkiego, od generowania wideo warunkowanego działaniem, przez tworzenie zasobów 3D, po ocenę polityki robotów. Na razie, mówi Sitzmann, „to, co większość ludzi ma na myśli, mówiąc 'model świata', to generowanie pikseli” – czyli realistycznego wideo warunkowanego działaniami. To naturalne rozszerzenie modeli generowania wideo, które Runway już robi. Jak ujął to Germanidis, gdy dodali kontrolę kamery do swoich narzędzi wideo, „zaczęło to przypominać bardziej grę wideo”.

Wyzwanie techniczne: większość dyfuzyjnych modeli wideo generuje wszystkie klatki naraz, odszumiając całą sekwencję w jednym przebiegu. To świetne dla spójności, ale fatalne dla interaktywności – nie można interweniować w trakcie generowania. Rozwiązaniem dla modeli świata jest autoregresyjna dyfuzja, która odszumia klatki sekwencyjnie. Użytkownicy mogą dostarczać działania, które wpływają na kolejne klatki w czasie rzeczywistym. Wadą jest to, że jest to kosztowne obliczeniowo, a symulacja ma tendencję do dryfowania, zapominając wcześniejszych szczegółów. Germanidis ma nadzieję, że spójność 3D „wyłoni się ze skali”, co jest ukłonem w stronę tego, co informatyk Richard Sutton nazwał „gorzką lekcją”: jawna ludzka wiedza często przeszkadza. Więc stawiają na brutalną siłę.

Krótko mówiąc, modele świata to miejsce, gdzie AI udaje się symulować rzeczywistość, jeden kosztowny krok odszumiania na raz. Czy spełnią obietnicę, czy tylko wyprodukują bardzo wymyślne deepfake’i, pozostaje do zobaczenia – ale rundy finansowania sugerują, że inwestorzy są gotowi się przekonać.