GameBoyWorlds：具身视频游戏中的自我改进测试平台

在专家指导的驱动下，智能体能够在交互式环境中运行；然而，它们是否能从自身经验中自主学习尚不明确。为了评估此类自我改进方法，我们提出了 GameBoyWorlds，一个用于电子游戏中智能体自我改进的测试平台。GameBoyWorlds-Execution 在 5 个不同游戏系列的集合上评估任务执行能力。智能体可以访问专门的训练游戏，但不会获得任何演示、文档或奖励。智能体必须通过自主探索以及从自身经验中推断可操作的知识来在环境中建立定位。在测试阶段，智能体必须完成短周期任务，以评估其在未见过的游戏中导航、交互以及应对游戏特定机制的能力。开箱即用的前沿模型由于多模态定位的失败，仅完成了 500 个任务中不到 50% 的部分，这表明自我改进方法在提升性能方面仍有空间。我们证明，当前的自我改进方法存在不足：世界建模和自主技能发现均告失败，而一种利用基于好奇心的探索来编写指南的新策略仅取得了部分成功。GameBoyWorlds-Playthrough 在两款粉丝制作的宝可梦游戏中测试端到端的游戏通关。我们表明，尽管前沿模型此前已接触过《宝可梦 红》等官方发行版本，但它们缺乏我们测试平台中游戏的关键信息。智能体不能依赖其参数化知识来取得成功，而必须从自身经验中学习，并在整个游戏过程中自主改进。我们表明，一个具有多模态记忆和层次化子目标的高级智能体流水线在两款游戏中甚至未能达到第一个主要里程碑，从而确立了 GameBoyWorlds 作为自我改进智能体的一个雄心勃勃的目标。