世界模型的功能分类法

世界并非由文字构成

在一篇先前的文章中，我们曾论证空间智能是AI的下一个前沿，而世界模型是通往它的道路。在这里，World Labs团队和我想要再深入一层：在众多当前正在构建并被冠以"世界模型"之称的事物中，哪些功能组件真正构成了这种能力——而各自又分别用于什么？

语言模型赋予了机器对概念、词汇和推理的非凡掌控力，但物理世界，无论是虚拟的还是真实的，运行在不同的基底之上。语言模型学习的是文本的统计结构，而世界模型学习的是空间与时间的统计结构：光线如何落在一个表面上，一个花园在从未被任何相机捕捉过的角度下是什么样子，物体如何响应力并遵循物理定律。

这使得"世界模型"成为当今人工智能领域最重要、也最被滥用的术语之一。计算机视觉、机器人学、强化学习和生成式人工智能各自都声称正在构建世界模型，而它们所指的含义却大相径庭。一个能生成华丽但物理上不可能存在的火焰的视频模型、一个即兴创作出可玩游戏的语言模型，以及一个忠实模拟燃烧过程的物理引擎，它们却共用同一个名称。

古希腊人从未就世界由什么构成达成一致——无论是火、水，还是不可再分的原子——因为"世界"从来不是一个单一的事物。它始终只是某个特定思想家需要加以推理的某种整体的代称。人工智能继承了同样的问题，而恰恰在这个领域最需要精确性的时刻。

分类体系之下的循环

要拨开那种困惑，得从一张比所涉任何技术都更古老的示意图说起。强化学习教科书——包括萨顿和巴托的经典著作——几十年来一直使用同一幅图的变体来描述智能体如何与世界交互。这幅图的正式名称是部分可观测马尔可夫决策过程（POMDP），而"世界模型"这一术语的原始定义便源于该传统。

一个智能体，它可以是一个人、一台机器人或一个软件系统，会采取行动。这些行动会影响世界的状态。智能体永远不会直接看到状态。到达智能体的是观测：落在视网膜上的光子、传感器的读数，以及视频帧中的像素。新的观测驱动新的行动，循环持续进行。

「状态」一词需要展开说明，因为它的含义因领域而异。这不是化学家所说的状态——即固体、液体和气体之间的区别。这是物理学家和机器人学家的状态：对某一时刻世界中正在发生的一切的完整描述，包括每一个物体、每一个位置、每一个速度、每一个属性。状态是世界的底层现实；原则上是完整的，但对其中任何一个智能体而言，永远无法直接观察到。观测是智能体对那一现实的局部视图。行动是智能体对此做出的响应。

这个循环——从智能体到行动，到状态，到观察，再回到起点——正是赋予现代术语"世界模型"以技术内涵的结构。这个短语本身的历史更早，可追溯至肯尼斯·克雷克1943年的提议，即心智通过运行现实的"小规模模型"来进行推理，并在1980年代末和1990年代初被引入神经网络领域。而这个循环也解释了人们如今使用该术语时的含义。如今被称为世界模型的各种事物，实际上是这同一个循环的不同投影。每一个都输出了其中不同的部分。

世界模型的三个功能

渲染器

第一种世界模型是渲染器。渲染器以像素形式输出供人眼观察的内容，最重要的质量指标是视觉保真度。将文本提示转化为电影级无人机镜头的视频模型就是一种渲染器。像 Google 的 Genie 3 或 World Labs 自家的 RTFM 这样的交互式系统也是如此，模型根据用户输入实时生成画面。模型并不具备对三维结构的显式理解。它生成的是观察者会看到的东西，而非事物本身。无人机镜头中的建筑从上方看可能完美无瑕，但试着驾车穿过下方的城市，它们就会支离破碎。

模拟器

第二类是模拟器。模拟器输出状态：一种在几何、物理或动态上忠实再现世界的表示，人类和计算机程序都可以对其进行计算和交互。渲染器的契约是纯视觉的，而模拟器的契约是结构性的，要求几何在检查下经得起推敲，物理遵循牛顿定律，动态在给定物理定律下以世界应有的方式运行。模拟器同时服务于两类使用者。建筑师、设计师、电影制作人和游戏开发者等人类专业人士需要的不仅是视觉上的可信度，而是超越视觉合理性的精确度。强化学习智能体、机器人控制器和自动驾驶车辆等计算机程序将模拟器作为训练场，在其中大规模地与世界交互，测试在现实中运行起来会危险、昂贵或不可能实现的场景。

规划器

第三种是规划器。规划器输出动作。给定一个观测和一个目标，规划器回答智能体下一步该做什么的问题。在很多方面，它是渲染器的逆过程。渲染器以动作为输入、产生观测，而规划器以观测为输入、产生动作，从而闭合感知-动作回路。视觉-语言-动作模型、基于模型的系统，以及新一波世界动作模型，都是对规划器的尝试：能够在非结构化世界中决定机器人该做什么的系统。

这三个类别描述了当前实际交付的大部分内容，它们之间的区分在实践中是有用的。然而，这些类别在根本上并非彼此独立的。关于世界如何运作的同一底层知识——几何、物理、动力学——支撑着所有类别。一个能够从任意角度渲染杯子的模型，原则上应当能够模拟杯子被推动时会发生什么，并规划一只手去拿起杯子。越来越多的，最有趣的研究有意模糊三者之间的边界。

为什么模拟是关键

在这三个类别中，模拟器获得的公众关注最少，却是三者中影响最大的。本文旨在回应这种不对称。

渲染器在商业成熟度上遥遥领先。众多图像或文本转视频产品正在消费级或企业级市场中快速扩张。Google 的 Nano Banana 模型已将渲染器级别的图像生成能力交到数亿潜在用户手中。这项技术是真实的，市场也是真实的。然而，渲染器优化的是视觉合理性而非物理精确性，这一上限至关重要。它们的输出很精美，但不能被信赖去设计一栋建筑或训练一个机器人。

规划器是最引人入胜也最处于萌芽阶段的方向，与快速演进的机器人学习领域紧密相连。过去两年间，该领域已经产出了许多在视频中看起来令人印象深刻的机器人演示，但我们需要诚实地看待这些演示实际展示的内容。几乎所有演示都局限于约束条件极为严格的实验室环境中，物体种类有限，任务时长也很短。没有任何一项经过真实世界部署所要求的复杂度、变异性或持续时间的验证。一段引人入胜的演示视频与一个能在厨房、仓库或手术室中可靠工作的机器人之间，差距依然巨大。尽管如此，商业押注依然规模可观。一波资金充裕的新进入者正竞相推出通用规划系统，而最大的基础设施厂商则正将规划置于更广泛的仿真栈之上。能规划的机器人就是能工作的机器人，整个行业都在竞相成为第一个实现这一目标的人。

模拟是两者之间的桥梁。如果语言是世界的抽象，像素是世界的投影，那么几何、物理和动力学就是世界本身。模拟器必须在该层面运作：它是结构性的骨架，视觉外观（供渲染器使用）和行动后果（供规划器使用）均可从中推导出来。

一个精通仿真的模型，可以将其理解投射为供人类观看的像素画面，也可以投射为具身智能体的动作预测。一个只精通渲染或只精通规划的模型，两者都无法做到。其商业应用空间极为广阔。仅 NVIDIA 的 Omniverse 就瞄准了该公司估计的可触达市场超过一万亿美元，涵盖工厂、仓库、供应链和数字孪生等领域。机器人训练、自动驾驶测试、建筑可视化、工程以及药物研发，都依赖于某种仿真形态。

该领域最棘手的未解决问题也存在于那里。带有明确几何结构、材料属性和物理标注的三维数据，比渲染器训练所用的互联网视频稀缺数个数量级。仿真到现实的差距——即物体在仿真中的行为与现实中的行为之间的差异——依然存在。生成式仿真器在此基础上又引入了新的风险：AI 生成的几何体看起来可能正确，却包含自相交或错误的比例，从而产生不合理的物理效果。大规模多物理场仿真——其中刚体、可变形物体、流体和布料相互交互——的成本仍然比单一领域仿真高出数个数量级。

在 World Labs，Marble 是我们进入这一领域的第一步。它接受多模态提示（文本、图像、视频或空间草图），生成可探索的 3D 环境，输出用于视觉探索的高斯泼溅（Gaussian splats），以及物理引擎可操作的碰撞网格。但 Marble 只是这个领域正在书写的更漫长篇章中的第一章，随着渲染、模拟和规划之间的界限开始瓦解。

界限正在瓦解之处，以及接下来会发生什么

但还有更多即将到来。当前该领域最重要的趋势是，这三类正在开始相互融合。共同的认知是，渲染一个世界、模拟它、并在其中行动所需的知识在很大程度上是相同的。继续前面的例子，一个真正理解杯子如何放置在桌面上（其几何形状、材料属性、对力的响应等）的模型，应该能够从任何角度渲染那个杯子，模拟杯子被推动时会发生什么，并规划一只手拿起杯子的动作。这三类是同一个底层理解的三种投影。

例如：来自各机器人实验室的一批数量不多但正在增长的近期工作已经表明——至少在概念上——预训练的视频渲染器可以作为联合世界与动作预测的骨干，通过让一个模型同时想象将会发生什么以及该做什么，在渲染器与规划器之间架起了一座桥梁。World Labs 的 Marble 已经从单一模型中输出高斯泼溅和碰撞网格，消解了渲染器与模拟器之间的边界。每一层都在从被动输出转向交互式系统：渲染器变得以动作为条件，模拟器生成更具可控性和可编辑性的世界，规划器进行深思熟虑而非仅仅做出反应。

逻辑上的终点是一个统一的世界模型：一个基础模型，能够渲染照片级真实感的视图、生成物理上精确的结构、规划动作序列，并根据下游消费者的需求在不同输出模态之间切换。我们仍将面临诸多艰巨的挑战。数据分布极不均衡——渲染器坐拥海量互联网视频，而模拟器和规划器则面临 3D 资产和机器人演示数据的严重短缺。优化视觉美感可能会牺牲机器人或高保真仿真所需的精度。在单一架构内调和这些矛盾，是当今世界模型研究中最核心的开放问题，而 World Labs 正是致力于此，并持续推动 Marble 的演进。

然而，方向是明确的。自20世纪80年代末以来，该领域一直在押注的同一个赌注——一个足够丰富的世界模型就是任何智能体感知世界、构建世界并在其中行动所需的一切——正是如今驱动整整一代研究的赌注。赋予这个"大赌注"分量的，是正在发生的汇聚：三条线索，每一条都已在各自独立地驱动和塑造着数十亿美元规模的产业，它们最初是各自独立的研究项目，如今正开始表现得如同一体。当它们合而为一，随着彼此之间的边界消融，它们将重塑一个更大的东西：机器智能与其栖居的物理世界之间的关系——空间智能的漫长弧线。

语言赋予了机器谈论那个世界的方式。世界模型则是机器最终得以理解、想象、推理并与之交互的方式。