过去几年,我们都速成学习了公司所谓的“人工智能”——这主要指大型语言模型(LLM)。但LLM不再是唯一吸引巨额资金和狂热炒作的AI类别。现在轮到“世界模型”登场了,它旨在模拟物理世界,或至少是一个有用的近似版本。这些系统不只是聊天,而是让你像玩电子游戏一样在3D环境中探索,只是数学更多,战利品箱更少。

为了理解世界模型的不同之处,Ars采访了三位专家:MIT的Vincent Sitzmann、Runway的Anastasis Germanidis和World Labs的Ben Mildenhall。他们的共识是:LLM从聊天界面起步,然后寻找用例;而世界模型则从具体应用开始——机器人、研究、资产生成——但尚未完全搞清楚界面应该是什么样子。可以把它看作AI的逆向工程,这很符合它的风格。

并非所有人都认为LLM是通往通用智能的路径。Meta前首席AI科学家Yann LeCun告诉Wired,LLM实现人类级智能的想法是“完全胡说八道”。计算机视觉先驱、World Labs联合创始人李飞飞写道,LLM是“黑暗中的文字匠;口若悬河但缺乏经验,知识渊博但不接地气”。连Hugging Face CEO Clem Delangue也认为我们正处于一个“LLM泡沫”中,可能明年就会破裂。所以世界模型成了新宠,至少直到更热的东西出现。

世界模型已经吸引了惊人的资金:World Labs和AMI在2月和3月据说各筹集了约10亿美元,Runway在2月筹集了3.15亿美元。对于一个Sitzmann承认“绝对被过度使用”的术语来说,这钱可真不少。他的定义:任何接受交互并模拟接下来发生什么的模型。Runway的定义则补充说,它构建了环境的内部表征。Mildenhall认为与LLM的关键区别在于连续、实时的交互——而不是“A然后B然后A然后B”这种回合制文本交换。李飞飞提出了三个标准:感知、几何和物理一致性;多模态性;以及基于输入动作输出下一状态的能力。

但“世界模型”也正在变成一个品牌术语。公司把它贴在从动作条件视频生成到3D资产创建再到机器人策略评估的一切东西上。目前,Sitzmann说,“大多数人提到‘世界模型’时,指的是生成像素”——即基于动作生成逼真视频。这是视频生成模型的自然延伸,Runway已经在做。正如Germanidis所说,当他们为视频工具添加相机控制时,“它开始感觉更像一个电子游戏了。”

技术挑战:大多数视频扩散模型一次性生成所有帧,一次性对整个序列去噪。这对连贯性很好,但对交互性很糟糕——你无法在生成过程中干预。世界模型的解决方案是自回归扩散,它逐帧去噪。用户可以实时提供影响下一帧的动作。缺点:计算成本高,而且模拟容易漂移,忘记早期细节。Germanidis希望3D一致性会“从规模中涌现”,这呼应了计算机科学家Richard Sutton所说的“苦涩教训”:显式的人类知识往往碍事。所以他们大力押注蛮力。

简而言之,世界模型是AI模拟现实的地方,一次昂贵的去噪步骤。它们能否兑现承诺,还是仅仅制作出非常花哨的深度伪造,还有待观察——但融资轮表明投资者愿意一探究竟。