介绍 Agora-2：推进多智能体世界模拟

今天我们很高兴发布 Agora-2 的可玩研究预览版，这是我们下一代多智能体世界模型，可实时生成共享的交互式环境，最多支持 20 个人类与智能体。Agora-2 支持的参与者数量是 Agora-1 的 5 倍，同时从仅能模拟单一环境扩展到可模拟多个环境，具备更复杂的交互和更长时程的行为。

为了探索这些更丰富的多智能体交互，我们转向了由 Blizzard 开发的《暗黑破坏神 II》。游戏长期以来一直是 AI 研究的有用环境，提供了让智能体通过与周围环境以及彼此互动来学习的世界。我们在《暗黑破坏神 II》的采集数据上训练了 Agora-2，这些数据将观测与动作和状态配对，使模型能够学习实体如何导航、交互以及相互响应。

实际上，Agora-2 充当一个学习得到的游戏引擎，让人类和智能体能够在同一个生成环境中互动，每个参与者的动作都会影响共享的模拟以及其中其他参与者的体验。你今天就可以体验我们的 Agora-2 可玩研究预览版。

展望未来，我们相信多智能体世界模型将日益为人工智能训练、机器人、自动驾驶、国防、能源、网络安全和游戏等领域的重要应用提供支撑。近期关于AI驱动的网络攻击以及智能体之间串通的报道，也使理解AI系统如何相互作用成为一项紧迫的研究优先事项。尽管仍处于起步阶段，多智能体世界模型提供了一条途径，可在受控模拟中研究和改善这些交互，从而在不使现实世界系统面临风险的情况下调查有害行为。

实时模拟

一个人类与智能体可以共享的世界模拟

Agora-2 生成一个共享世界模拟——以流式像素的形式——在其中人类与智能体可以实时交互，每个参与者都从自己的视角体验相应的后果。单智能体世界模型（如 Odyssey-3）模拟的是单个参与者的体验，而 Agora-2 则维护一个显式的共享状态，用以记录多个参与者的动作及其相互影响。我们在 Agora-1 中引入了这一架构，并在 Agora-2 中对其进行了扩展，以支持更长时间内更复杂的交互。

Agora-2 预测参与者如何相互影响

Agora-2 的仿真模型经过训练，用于预测参与者的联合动作如何改变共享状态，其依据是每个实体的属性、近期动作以及周围几何环境。跨这些表示的注意力机制使模型在预测某一动作的后果时，能够考虑其他参与者的相对布局与行为。

随后，世界服务器将仿真模型的预测结果进行整合，以更新共享状态，从而使每个参与者的渲染模型都能实时获得对当前所发生一切的一致描述。由于实体属性独立于任何特定视角保留在该状态中，因此当实体处于画面之外时，这些属性仍然可用，并且当实体重新出现时，无需从该参与者的视觉历史中重建。

每个参与者都从自己的视角体验相同的仿真

共享状态更新后，渲染模型会使用压缩的视觉表示，从每位参与者的视角生成其视图。它以共享环境、涉及的实体及其交互效果为条件，同时每位参与者近期的视觉历史为其外观提供参照，并有助于在状态变化时保持视觉连续性。

Agora-2 实时模拟

我们使用流匹配训练渲染模型，使其能够从具有不同程度视觉噪声的序列中学习。在训练过程中，我们会频繁移除视觉历史，因此渲染模型必须依赖所提供的状态来描绘模拟。我们还对涉及实体的错误赋予更大的权重，帮助模型学习表示那些其行为驱动交互的参与者。

在模拟过程中，每个新生成的视图都会成为用于下一次更新的视觉历史的一部分，从而在参与者的动作、模拟模型和渲染模型之间形成持续循环。我们的技术报告更详细地描述了架构、训练和服务系统。

迈向共同学习的智能体与模拟

我们使用强化学习训练智能体去追逐对手、绕过障碍物，并在它们卡住或与同伴分离时恢复过来。这些智能体必须学会在只能部分观察世界的情况下做到这一点，利用近期的观察来追踪附近的参与者，并随着局势变化而调整。我们正通过PROWL拓展这一研究课题，探索智能体如何能在世界模型内部学习智能行为，以及它们的经验如何改进这个世界，从而使智能体与训练它们的环境共同变得更有能力。

迈向共同学习的智能体与模拟环境

我们看到了将多智能体交互引入Odyssey-3等基础世界模型的清晰路径，从而将这些模型所能模拟的众多环境中的共享体验扩展出去。这意味着要学习能够描述陌生实体、动作和关系的表征，同时保持基础世界模型的开放式行为。

协调与竞争如何塑造学习

当多个智能体各自做出决策时，我们能通过录制的演示传授的内容是有限的，而它们通过直接交互可以学到的东西则非常多。正如我们在《多智能体想象经验时代》中所描述的，协作与竞争提供了一种随着智能体自身一同发展的课程来源，因为一个智能体的改进会改变其他智能体必须学会应对的内容。在这些交互过程中暴露出的失败，也为世界模型提供了训练数据，所采用的方法正是PROWL中提出的方法。

学会在与他人共享的世界中行动

在机器人技术、自动驾驶汽车、国防、能源和网络安全领域，一个智能体的成功可能取决于其他参与者的决策，而这些参与者往往掌握不同的信息，并有着相互竞争的目标。与其他机器人和人类协同工作的机器人必须协调彼此的行动，以完成复杂的长期任务；而防御性网络智能体则必须保护合法活动，抵御策略不断演变的攻击者。

多智能体世界模型将让我们能够共同训练这些系统，让智能体在周围智能体能力提升的过程中通过合作与竞争进行学习。我们在 Odyssey-3 公告中描述的愿景，是让它们的经验和发现能够改进训练它们的世界模型，使智能体及其模拟环境能够共同变得更强大。Agora-2 是朝着这个方向迈出的一大步。

你现在就可以体验我们的研究预览版 Agora-2，看看你的决策如何影响同一世界模拟中人类和智能体的体验。