За последние несколько лет мы все прошли ускоренный курс по тому, что компании называют искусственным интеллектом — что в основном означало большие языковые модели (LLM). Но LLM больше не единственная категория ИИ, привлекающая массовое финансирование и вызывающая бурный ажиотаж. Встречайте «мировые модели», которые стремятся симулировать физический мир, или хотя бы его полезную аппроксимацию. Вместо того чтобы просто болтать, эти системы хотят позволить вам покопаться в 3D-окружении, как в видеоигре, но с большим количеством математики и меньшим количеством лутбоксов.

Чтобы понять, чем отличаются мировые модели, Ars поговорил с тремя экспертами: Винсентом Зитцманном из MIT, Анастасисом Германидисом из Runway и Беном Милденхоллом из World Labs. Их консенсус: в то время как LLM начинали с интерфейса чата, а затем искали применение, мировые модели начинают с конкретных приложений — робототехника, исследования, генерация активов — и пока не совсем поняли, как должен выглядеть интерфейс. Думайте об этом как об ИИ, работающем задом наперёд, что вполне в его духе.

Не все убеждены, что LLM — это путь к общему интеллекту. Бывший главный научный сотрудник Meta по ИИ Ян ЛеКун заявил Wired, что идея достижения LLM человеческого уровня интеллекта — «полная чушь». Фей-Фей Ли, пионер компьютерного зрения и сооснователь World Labs, написала, что LLM — это «мастера слова в темноте; красноречивые, но неопытные, знающие, но не имеющие опоры». Даже генеральный директор Hugging Face Клем Деланг считает, что мы находимся в «пузыре LLM», который может лопнуть в следующем году. Так что мировые модели — это новое увлечение, по крайней мере, пока не появится что-то ещё более горячее.

Мировые модели уже привлекли ошеломляющее финансирование: World Labs и AMI, как сообщается, привлекли около 1 миллиарда долларов каждая в феврале и марте, а Runway привлекла 315 миллионов долларов в феврале. Это много денег для термина, который, как признаёт Зитцманн, «определённо перегружен». Его определение: любая модель, которая принимает взаимодействие и симулирует, что произойдёт дальше. Определение Runway добавляет, что она строит внутреннее представление окружения. Милденхолл говорит, что ключевое отличие от LLM — это непрерывное, реальное время взаимодействия, а не пошаговый текстовый обмен «A затем B, затем A затем B». Фей-Фей Ли предлагает три критерия: перцептивная, геометрическая и физическая согласованность; мультимодальность; и способность выводить следующие состояния на основе входных действий.

Но «мировая модель» также становится брендовым термином. Компании навешивают его на всё: от генерации видео, обусловленной действиями, до создания 3D-активов и оценки политик роботов. Пока, говорит Зитцманн, «то, что большинство людей имеют в виду, когда говорят „мировая модель“ — это генерация пикселей», то есть реалистичного видео, обусловленного действиями. Это естественное расширение моделей генерации видео, которые Runway уже делает. Как выразился Германидис, когда они добавили управление камерой в свои видеоинструменты, «это стало больше походить на видеоигру».

Техническая задача: большинство моделей диффузии видео генерируют все кадры сразу, шумоподавляя всю последовательность за один раз. Это отлично для согласованности, но ужасно для интерактивности — вы не можете вмешаться в середине генерации. Решение для мировых моделей — авторегрессивная диффузия, которая шумоподавляет кадры последовательно. Пользователи могут предоставлять действия, которые влияют на следующие кадры в реальном времени. Недостаток: это дорого с точки зрения вычислений, и симуляция имеет тенденцию дрейфовать, забывая более ранние детали. Германидис надеется, что 3D-согласованность «возникнет из масштаба», что является кивком в сторону того, что компьютерный учёный Ричард Саттон назвал «горьким уроком»: явные человеческие знания часто мешают. Так что они делают большую ставку на грубую силу.

Короче говоря, мировые модели — это то, куда ИИ идёт симулировать реальность, один дорогой шаг шумоподавления за раз. Удастся ли им выполнить обещание или просто создать очень красивые дипфейки, пока неизвестно — но раунды финансирования предполагают, что инвесторы готовы это выяснить.