Ces dernières années, nous avons tous suivi un cours accéléré sur ce que les entreprises appellent l'intelligence artificielle – ce qui signifiait surtout les grands modèles de langage (LLM). Mais les LLM ne sont plus la seule catégorie d'IA à attirer des financements massifs et un battage médiatique effréné. Entrez les « modèles du monde », qui visent à simuler le monde physique, ou du moins une approximation utile de celui-ci. Au lieu de simplement discuter, ces systèmes veulent vous permettre de farfouiller dans un environnement 3D comme dans un jeu vidéo, mais avec plus de maths et moins de butins.

Pour comprendre ce qui différencie les modèles du monde, Ars a parlé à trois experts : Vincent Sitzmann du MIT, Anastasis Germanidis de Runway, et Ben Mildenhall de World Labs. Leur consensus : alors que les LLM ont commencé avec une interface de chat puis cherché un cas d'usage, les modèles du monde partent d'applications spécifiques – robotique, recherche, génération d'actifs – et n'ont pas encore vraiment trouvé à quoi l'interface devrait ressembler. Considérez cela comme une IA qui travaille à l'envers, ce qui est dans l'air du temps.

Tout le monde n'est pas convaincu que les LLM soient la voie vers l'intelligence générale. L'ancien scientifique en chef de l'IA chez Meta, Yann LeCun, a déclaré à Wired que l'idée que les LLM atteignent une intelligence de niveau humain est « complètement absurde ». Fei-Fei Li, pionnière de la vision par ordinateur et cofondatrice de World Labs, a écrit que les LLM sont des « motsmiths dans le noir ; éloquents mais inexpérimentés, savants mais sans ancrage ». Même le PDG de Hugging Face, Clem Delangue, pense que nous sommes dans une « bulle LLM » qui pourrait éclater l'année prochaine. Alors les modèles du monde sont la nouvelle coqueluche, du moins jusqu'à ce que quelque chose d'encore plus chaud arrive.

Les modèles du monde ont déjà attiré des financements à couper le souffle : World Labs et AMI auraient levé environ 1 milliard de dollars chacun en février et mars, et Runway a levé 315 millions de dollars en février. C'est beaucoup d'argent pour un terme qui, comme l'admet Sitzmann, est « définitivement surchargé ». Sa définition : tout modèle qui prend une interaction et simule ce qui se passe ensuite. La définition de Runway ajoute qu'il construit une représentation interne d'un environnement. Mildenhall dit que la distinction clé avec les LLM est l'interaction continue en temps réel – pas l'échange de texte au tour par tour de « A puis B puis A puis B ». Fei-Fei Li propose trois critères : cohérence perceptuelle, géométrique et physique ; multimodalité ; et capacité à produire des états suivants basés sur des actions d'entrée.

Mais « modèle du monde » devient aussi un terme de marque. Les entreprises l'appliquent à tout, de la génération vidéo conditionnée par des actions à la création d'actifs 3D en passant par l'évaluation de politiques robotiques. Pour l'instant, dit Sitzmann, « ce que la plupart des gens veulent dire quand ils disent 'modèle du monde', c'est générer des pixels » – c'est-à-dire des vidéos réalistes conditionnées par des actions. C'est une extension naturelle des modèles de génération vidéo, ce que Runway fait déjà. Comme l'a dit Germanidis, quand ils ont ajouté des contrôles de caméra à leurs outils vidéo, « cela a commencé à ressembler presque à un jeu vidéo ».

Le défi technique : la plupart des modèles de diffusion vidéo génèrent toutes les images en une fois, débruitant toute la séquence d'un seul coup. C'est génial pour la cohérence mais terrible pour l'interactivité – on ne peut pas intervenir en cours de génération. La solution pour les modèles du monde est la diffusion autorégressive, qui débruite les images séquentiellement. Les utilisateurs peuvent fournir des actions qui influencent les images suivantes en temps réel. L'inconvénient : c'est coûteux en calcul, et la simulation a tendance à dériver, oubliant les détails antérieurs. Germanidis espère que la cohérence 3D « émergera de l'échelle », un clin d'œil à ce que l'informaticien Richard Sutton a appelé « la leçon amère » : la connaissance humaine explicite fait souvent obstacle. Alors ils misent gros sur la force brute.

En bref, les modèles du monde sont là où l'IA va pour simuler la réalité, une étape de débruitage coûteuse à la fois. Reste à savoir s'ils tiendront leur promesse ou produiront simplement de très beaux deepfakes – mais les tours de financement suggèrent que les investisseurs sont prêts à le découvrir.