推出 PROWL-2：联合学习仿真与决策

世界模型是在基于模型的强化学习中引入的，作为一种学习得到的动力学模型或“转移函数”，用于预测下一个状态。其背后的动机是让强化学习能够通过模拟环境进行，而不需要直接与环境交互。世界模型还为智能体提供了一条路径，使其能够规划和推理自身行动的后果，而不是仅仅依赖规模。然而，从想象经验中学习的效果取决于世界模型本身：在其预测错误的地方，智能体会基于幻觉出的未来进行训练，并学到在真实环境中失败的行为。

迄今为止，大多数世界模型所想象的世界里只有一个智能体，但最能带来教益的经验恰恰是与他人共享的：既有需要协调配合的队友，也有需要智取战胜的对手，而他们每个人在进步的同时都会不断抬高门槛。正因如此，我们认为经验的时代是一个多智能体的时代。这也正是多智能体想象经验最为困难之处：随着智能体不断学习，它们会改变其他智能体所体验到的世界。这意味着世界模型必须追踪一个不断移动的目标，而它每一次预测错误的交互，都可能让整个团队的推演偏离正轨。

为应对这些挑战，我们开发了 PROWL-2，这是 PROWL 的下一代版本，据我们所知，也是首个让一组智能体及其世界模型各自按照自己的课程进行学习、持续学习并处于单一训练循环内的框架。基于无监督环境设计（Unsupervised Environment Design，UED）——即自动生成或选择最有助于改进强化学习智能体的训练场景——智能体在完全由世界模型生成的 rollout 上进行训练。这些想象出的轨迹会依据其学习潜力被挑选出来，并组织成一套随着智能体能力提升而从较易场景逐步过渡到较难场景的课程。与这一过程同步，一个开发者智能体探索真实环境，以找出世界模型失效之处，从而构建用于修复世界模型的课程，正如我们在 PROWL-1 中介绍的那样。一种新颖的保真度门控将这两套课程耦合起来。它会定期将世界模型从智能体最高优先级起始状态生成的 rollout 与相应的已记录真实轨迹进行比较，将低保真度、幻觉性的 rollout 排除在策略训练之外，转而将它们送去修复世界模型，以免由世界模型错误产生的学习信号被误认为是真实的学习信号。

在《星际争霸》多智能体挑战赛 v2（SMACv2）和多智能体四足环境（MQE）中，PROWL-2 在全部九个 SMACv2 场景中均取得了最高的平均性能，相较于其基线世界模型学习器最高实现了 91% 的相对提升，同时将最难的 MQE 任务成功率从 29.8% 提升至 70.4%（Gate-3），从 7.3% 提升至 28.2%（Shepherd-Hard）。

从想象经验中进行多智能体学习的框架

PROWL-2 是一个从想象经验中进行多智能体学习的框架，它将受优先回放启发的课程学习与对抗性世界模型探索相结合。它与策略学习算法和世界模型均无关：它不改变二者的架构或目标，而是决定哪些数据对智能体和世界模型都具有最高的学习潜力。这意味着它可以叠加在任何现有的基于模型的多智能体学习器之上。PROWL-2 在单一训练循环中结合了三种机制——任务策略课程学习、世界模型课程学习和双重课程学习——以提升智能体性能。我们在离散游戏场景和连续机器人协调中对此进行了评估。

任务策略课程学习

智能体在世界模型内部按照一个由学习潜力排序的起始状态课程进行训练。随着智能体掌握简单情境，更难的情境会升至课程前列。单靠这一课程无法区分真正的弱点和世界模型错误，还可能将智能体引向幻觉。

世界模型课程学习

与PROWL-1中一样，开发者智能体在真实环境中探索世界模型预测错误的轨迹，并因世界模型能够学会修正的错误而获得奖励。世界模型在常规回放的同时，持续从这些失败中学习。

双重课程学习

为了将两者连接起来，我们开发了一种新颖的保真度门控机制。它会定期在记录的动作下，通过世界模型重放智能体优先级最高的起始状态，并将预测结果与记录的真实轨迹进行比较。那些展开结果与记录轨迹偏离过大的状态会被暂时从任务策略课程中移除。它们的真实轨迹会被加入世界模型课程，世界模型会在这些轨迹上进行微调。一旦微调后的世界模型在连续检查中能够准确预测某个被保留的状态，该状态就会返回任务策略课程。因此，该门控机制在不丢弃其背后信息丰富的状态的情况下，消除了智能体训练中的幻觉展开。

这三种机制共同将无监督环境设计带入一个能够不断自我改进的学习世界。智能体持续面对具有最高学习潜力的场景，而世界模型在其失败暴露之处不断得到修复。这既通过开发者智能体的定向探索实现，也通过任务求解智能体所追求的高学习潜力挑战实现。PROWL-2 由此扩展了 PROWL-1：后者仅通过主动搜寻其失败的智能体来改进世界模型，而前者还会在任务求解智能体最希望从中学习的更难挑战上修复世界模型，并同时训练任务求解智能体本身

在《星际争霸 II》多智能体挑战中学习新颖的协同作战

我们在 SMACv2 上进行评估，这是《星际争霸 II》中广泛使用的合作多智能体战斗基准。SMACv2 会程序化生成每一场战斗，随机化单位类型和起始位置，因此智能体无法记住固定场景，必须学习能够泛化到从未见过的交战的闭环协调能力。我们在全部三个种族——人族、神族和虫族——上测试 PROWL-2，覆盖三种战斗规模：对称的 5v5 和 10v10 战斗，以及更困难的非对称 10v11 场景，其中受训的十人队伍对抗十一个敌方单位。

对于下面的定性比较，针对每个 SMACv2 设置，我们选择 PROWL-2 相对基线表现出最大性能优势的评估设置，并报告在 40 次留出 rollout 上的性能。

保持人族阵型与集中火力

人族 5v5，评估种子设置为对称的 SMACv2 镜像对局：双方均以三个劫掠者和两个陆战队员在镜像位置开局。行为差异体现在双方的协同方式上。PROWL-2 在接近过程中收拢队形，以紧凑得多的阵型接敌。随后四个单位集中火力攻击同一目标，拿下首次击杀。基线则以更长、更松散的阵线进入，并将火力分散到多个目标上，往往在取得优势之前就已损失单位。

在 40 次留出 rollout 中，PROWL-2：87.5%，基线：7.5% 胜率。

人族 5v5 · PROWL-2

人族 5v5 · 基线

在Terran 10v10中，评估种子是对称镜像对局，每方有七个Marauders和三个Marines。PROWL-2在接触前重新组织成紧密的射击线，从而实现集中火力并在不损失单位的情况下取得首个击杀。它保持这一优势并以三个幸存者获胜。基线则以分散的群体交战，损失了第一个单位，并且在仅消灭三个对手后被全歼。

在40次留出rollout中，PROWL-2：70%，基线：7.5%胜率。

Terran 10v10 · PROWL-2

Terran 10v10 · 基线

在 Terran 10v11 中，PROWL-2 开局便处于少一个单位的劣势。PROWL-2 将十个单位中的九个保持在一个紧密的编队中，同时一名孤立的陆战队员吸引敌方注意力，为主力部队创造机会取得双杀。此后，PROWL-2 在保留全部四名劫掠者的情况下消灭了全部十一个对手。基线方法以三个分散的编队交战，在取得首个击杀前损失了三个单位，并且在仅消灭三个对手后便被全歼。

在 40 次留出 rollout 中，PROWL-2：55%，基线：2.5% 胜率。

Terran 10v11 · PROWL-2

Terran 10v11 · 基线

协调 Protoss 攻击与战术牵制

Protoss 5v5，双方开局各有三个 Stalker 和两个 Zealot。一个单独的 PROWL-2 Zealot 将敌方两个 Zealot 引开，而其余四个单位集中火力攻击单个 Stalker，拿下首杀。随后 PROWL-2 消灭全部五个对手。基线以碎片化方式推进，将火力分散到三个目标上，在取得三次击杀后被全歼。

在 40 次留出 rollout 中，PROWL-2：70%，基线：17.5% 胜率。

Protoss 5v5 · PROWL-2

Protoss 5v5 · 基线

Protoss 10v10，双方开局各有一个Colossus、四个Stalker和五个Zealot。PROWL-2整合为两个紧密编组，并在接触过程中保持协同，以四个单位存活的结果消灭全部十个对手。基线方法开局时为一个紧凑编组，但其其余部队在交战时分散，最终以差一次击杀落败。

Protoss 10v10：在40次留出rollout中，PROWL-2：65%，基线：10%胜率。

Protoss 10v10 · PROWL-2

Protoss 10v10 · 基线

Protoss 10v11，评估种子开局时 PROWL-2 处于少一个单位的劣势。PROWL-2 在接触前形成两个紧密的编组；当一名受伤的 Stalker 后撤时，五个敌人追击它进入主火力线，使 PROWL-2 得以拿下首个击杀，并最终以两名幸存者消灭全部十一个对手。基线则高度分散，在首次击杀前损失两个单位，并在消灭七个对手后被全歼。

在 40 次留出 rollout 中，PROWL-2：35%，基线：0% 胜率。

Protoss 10v11 · PROWL-2

Protoss 10v11 · 基线

协调 Zerg 进攻与把握 Baneling 出击时机

Zerg 5v5，评估种子是一场对称对局，每方有四只刺蛇和一只跳虫。PROWL-2 让它的刺蛇保持在一起，并一次将多个单位集中攻击同一个目标，最终以仅剩一只刺蛇获胜。基线在接触前就分散了，很少集中火力，在只消灭敌方跳虫后就被全歼。

在 40 次留出 rollout 中，PROWL-2：37.5%，基线：12.5% 胜率。

Zerg 5v5 · PROWL-2

Zerg 5v5 · 基线

Zerg 10v10，评估种子是一场对称对局，每方有五只刺蛇、四只跳虫和一只爆虫。PROWL-2 早早投入它的爆虫，消灭了两只敌方跳虫，然后保持剩余部队协同，并以七杀两损赢下开局交换。

在40次留出rollout中，PROWL-2：90%，基线：0%胜率。

Zerg 10v10 · PROWL-2

Zerg 10v10 · 基线

Zerg 10v11，评估种子以PROWL-2处于一个单位劣势开局：八个Zergling和两个Hydralisk对阵九个Zergling和两个Hydralisk。PROWL-2协调对孤立目标的交叉火力，在损失一个单位前取得三次击杀，随后清掉剩余的Zergling并转向Hydralisk，以四个单位存活获胜。基线交战协调性较差，在首次击杀前损失两个单位，并在未对敌方Hydralisk造成伤害的情况下被全歼。

在40次留出rollout中，PROWL-2：42.5%，基线：5%胜率。

Zerg 10v11 · PROWL-2

Zerg 10v11 · 基线

在最难的 MQE 任务上学习鲁棒协调

为了在多机器人协调任务上测试 PROWL-2，我们使用 MQE。与 StarCraft 战斗不同，这些是连续控制任务，成功取决于机器人之间精确的物理协调与时机配合。在 Gate 中，四足机器人必须穿过一个狭窄开口而不发生碰撞，这要求它们协调谁通过以及何时通过；我们评估了双机器人和三机器人两种变体。在 Shepherd 中，两个四足机器人必须合作将一只羊机器人赶入目标区域，持续调整自身动作以将其引导至期望方向；我们评估了简单和困难两种变体。

为了直观展示协调能力在训练过程中如何发展，我们比较了 Gate-2 和 Shepherd-Easy 在 200K 与 1.5M 步的检查点，以及更具挑战性的 Gate-3 和 Shepherd-Hard 任务在 600K 与 1.5M 步的检查点。在每个检查点，每次训练运行都在 20 个留出回合上进行评估，我们报告成功率以及具有代表性的 rollout。

两个机器人通过狭窄通道的协调

Gate-2 测试两个四足智能体能否协调它们的移动，在不发生碰撞的情况下通过一条狭窄通道。挑战不仅仅在于到达另一端，而在于学习一种能让两个机器人高效通过的联合策略。在 200K 训练步时，PROWL-2 达到了与基线相似的成功率，但发现了更快的解决方案。到 1.5M 步时，两种方法都达到了接近上限的成功率，但 PROWL-2 变得更快，而基线则基本在相近的完成时间上趋于停滞。

Gate-2 · PROWL-2 · 200K 步

Gate-2 · 基线 · 200K 步

Gate-2 · PROWL-2 · 1.5M 步

Gate-2 · 基线 · 1.5M 步

协调三个机器人通过一条狭窄通道

Gate-3 通过要求三个四足智能体穿过同一个狭窄开口且彼此不阻挡、不碰撞，提高了协调难度。在 600K 训练步时，基线在全部 20 个评估场景中均失败，而 PROWL-2 已能解决其中 20% 以上。到 1.5M 步时，PROWL-2 继续提升，成功率达到约 70%，而基线仍徘徊在 25% 附近。这表明 PROWL-2 不仅更早发现协调穿越行为，而且随着训练推进持续改进该行为。

Gate-3 · PROWL-2 · 600K 步

Gate-3 · 基线 · 600K 步

Gate-3 · PROWL-2 · 1.5M 步

Gate-3 · 基线 · 1.5M 步

将一只羊赶过狭窄的门

Shepherd-Easy 测试两个四足智能体能否协同引导一只羊穿过狭窄的闸门。在 200K 训练步数时，两种方法达到相近的成功率，但 PROWL-2 找到了更快的驱赶策略，用时 3.6 秒达成目标，而基线为 5.0 秒。到 1.5M 步数时，两者的成功率仍同样高，但 PROWL-2 进一步将完成时间缩短至 2.0 秒，而基线为 3.2 秒。

Shepherd-Easy · PROWL-2 · 200K 步

Shepherd-Easy · 基线 · 200K 步

Shepherd-Easy · PROWL-2 · 1.5M 步

Shepherd-Easy · 基线 · 1.5M 步

驱赶九只羊的羊群

Shepherd-Hard 将挑战扩大到九只羊的羊群，使协同定位和持续放牧变得明显更加困难。在 600K 训练步时，基线尚未学会可靠的放牧策略，而 PROWL-2 已经开始协调两个智能体，将整群羊朝门的方向移动并穿过门。到 1.5M 步时，PROWL-2 达到接近 30% 的成功率，而基线仍接近 5%，表明在这一更难的协调任务上差距要大得多。

Shepherd-Hard · PROWL-2 · 600K 步

Shepherd-Hard · 基线 · 600K 步

Shepherd-Hard · PROWL-2 · 1.5M 步

Shepherd-Hard · 基线 · 1.5M 步

为多智能体与前沿智能构建经验机器

PROWL-2 表明，一组智能体及其世界模型可以共同学习，各自依据自己的课程进行学习。世界模型在失败之处得到修复，而智能体只在世界模型可信的地方针对日益复杂的行为进行训练。在离散的 StarCraft 战斗和连续的四足控制中，PROWL-2 在多智能体强化学习基准上相较基线展现出显著提升。

我们将世界模型视为经验机器，是智能体能够获得现实世界无法安全或廉价提供的经验的地方。要大规模地从这些经验中学习，它必须既值得信赖又井然有序，随着智能体的进步从易到难推进。PROWL-2 使这两项要求相互强化。世界模型保真度的每一次提升都为智能体打开更困难的情境，而智能体的每一次进步又引导世界模型进入它必须学会预测的新情境，因此对两者而言挑战源源不断。

随着游戏、机器人技术和集群系统越来越依赖在学习型模拟器中训练的智能体，PROWL-2 可以直接加入这些系统，而无需重新设计它们的世界模型或学习算法。同样的原理也超越这些领域，延伸至前沿模型。我们相信，多模态世界模型是前沿模型下一次跃迁所缺失的关键要素，我们的研究将继续同时开发世界模型以及在其中行动的智能。像 Odyssey-3 这样的基础世界模型可以提供这种有根基的经验，而 PROWL 正是我们打算使其值得信赖、并随着从中学习的模型不断改进而逐步提高难度的方法。我们认为，这种开放式、共同演进的学习是通往超级智能之路的关键部分，而 PROWL-2 是迈向那个未来的一步。

让这一切成为现实的团队

PROWL-2 由 Odyssey 团队——Ahmet H. Güzel、Jenny Seidenschwarz 和 Jeffrey Hawke——实现，并得到了巴塞尔大学和伦敦大学学院顾问 Ilija Bogunovic 的宝贵反馈。