跳到正文
Odyssey · 世界模型研究· 一手来源·· 16 天前精选AI 评分72

认识 Odyssey-3:我们最强大的基础世界模型

Meet Odyssey-3: Our Most Powerful Foundation World Model

推荐理由

官方给出 Odyssey-3 在 Physics-IQ 与 WorldMark 的具体分数和机器人、人形、驾驶的适配案例,可据此判断世界模型当前的能力边界。

正文 · AI 翻译

今天我们推出 Odyssey-3,这是我们迄今为止最强大的基础世界模型。Odyssey-3 Pro 在 Physics-IQ Verified 的基准测试中创下新的最优成绩,并在我们的评估中于 WorldMark 的 4 个类别中的 3 个排名第一。我们的研究预览版现已开放,如果你是物理 AI 开发者并有兴趣基于 Odyssey-3 进行构建,请与我们联系。

Odyssey-3 是一个学习得到的动力系统,以自回归扩散 transformer 的形式实现,用于预测物体如何在空间中移动和相互作用,以及情境如何随时间演变。它从广泛的视觉观测数据集中学习物理、动力学和因果关系的表征,开发者利用这些知识来模拟环境,并为不同的物理系统训练策略。

我们的创始团队花了十年时间构建无人驾驶汽车,在其中预测世界对于决定汽车下一步该做什么至关重要。我们创立 Odyssey,是为了将这一理念远远拓展到道路之外,打造一种通用技术,把学习到的世界知识带给所有机器和任务。借助 Odyssey-3,我们相信这一理念如今正在成为现实。

Odyssey-3 实时生成环境

Odyssey-3 根据提示生成具身环境,并利用先前的观测和最新输入,实时预测当人或智能体采取行动或引入事件时环境如何变化。你可以在生成过程中穿行于环境或引入事件,并观察模型如何响应。

今天的预览版提供第一人称和第三人称导航,以及独立的摄像机移动,为你提供与模型预测交互并检视预测的不同方式。

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

生成环境

Odyssey-3 在 Physics-IQ 上达到最先进水平

Odyssey-3 Pro 在 Physics-IQ Verified 的视频到视频基准测试中树立了新的最先进水平,取得 66.1 分,为已报告的最高分。我们已将物理准确性作为研究的核心重点,因为面向物理智能的基础模型必须学会预测世界的真实行为。

Physics-IQ 测试流体动力学、光学、固体力学、磁学和热力学中的物理行为,要求模型续写真实物理实验的视频,并将其预测与实际发生的情况进行比较。Odyssey-3 Pro 在图像到视频任务中也获得 54.7 分,而 Odyssey-3 改善了物理准确性与生成成本之间可测量的权衡,使得在相同计算预算内生成更多模拟成为可能。

Odyssey-3 在 Physics-IQ 上的表现,这是一个来自 Anates Labs 和 DeepMind 的综合基准,只有通过深入理解流体动力学、光学、固体力学、磁学和热力学等各种物理原理才能解决

生成环境

分数取平均值为 4 次运行;best-of-8 使用 1 次运行,提示词相同。成本在已报告的情况下包含提示词费用。Odyssey 假设每 MI355X GPU 小时 1 美元,不含提示词改写费用。Odyssey-3:832×480;Pro:1280×720。Cosmos3 V2V 自 10 月 1 日起采用基于算力的定价。来源:Physics-IQ Verified 排行榜,2026 年 10 月 7 日

WorldMark 衡量控制跟随、视觉质量和世界记忆。在我们的评估中,使用基准自带的描述文本及其报告的 13 项指标得分的平均值,Odyssey-3 在第一人称风格化、第三人称真实和第三人称风格化环境中排名第一。这些结果衡量的是生成世界的特定属性;将模型应用于物理系统还需要评估对该机器及其任务至关重要的行为。

WorldMark

按划分统计的 13 项 WorldMark 指标平均值(0–100),使用 WorldMark 自带的描述文本

第一人称风格化

Odyssey-3

77.2

LingBot-World

77.0

AlayaWorld

76.7

Lyra 2.0

75.9

Matrix-Game 3.0

75.6

HY-World 1.5

75.2

Matrix-Game 2.0

73.5

SANA-WM

73.0

DreamX-World

70.6

Yume 1.5

63.3

HY-GameCraft 1.0

55.6

50

55

60

65

70

75

80

85

First-Person Real

Lyra 2.0

84.4

AlayaWorld

83.0

Odyssey-3

80.6

Matrix-Game 3.0

80.1

LingBot-World

79.6

Matrix-Game 2.0

77.1

HY-World 1.5

77.0

SANA-WM

75.2

DreamX-World

72.2

Yume 1.5

67.6

HY-GameCraft 1.0

59.5

50

55

60

65

70

75

80

85

Third-Person Real

Odyssey-3

79.0

HY-World 1.5

76.9

SANA-WM

74.8

DreamX-World

71.5

LingBot-World

69.5

Matrix-Game 2.0

68.6

60

65

70

75

80

85

第三人称风格化

Odyssey-3

76.3

HY-World 1.5

75.1

SANA-WM

72.8

DreamX-World

70.1

Matrix-Game 2.0

65.5

LingBot-World

60.8

55

60

65

70

75

80

85

Odyssey-3 适应物理系统

我们的Odyssey-3 介绍展示了如何通过在成对的观测与动作上训练动作解码器或策略,将 Odyssey-3 学到的世界知识应用于不同系统。这些学习到的组件将该知识转化为特定机器所需的控制指令,使开发者能够将基础模型适配到新的本体或任务。

Odyssey-3 能够控制机械臂

仅用数十小时的机器人演示数据,Odyssey-3 就完成了操作任务,并展现出这些演示中并不存在的恢复行为,包括在抓取失败后重新调整夹爪方向,以及取回处于异常位置的掉落物体。

“把麦片倒进碗里”

控制机器人

“关上螺丝盒”

控制机器人

Odyssey-3 可为类人机器人提供动力

Flexion 已在 Odyssey-3 上构建了类人机器人控制策略。在环境变化下,所得策略的性能超过了所测试的 VLA 基线,并且在光照变化导致这些基线失败的情况下仍能继续执行任务。

控制类人机器人

“打开蓝色容器,取出纸板箱”
“把盘子移到桌子中央,并将杯子放在盘子上面”

控制人形机器人

Odyssey-3 能驾驶车辆

我们将 Odyssey-3 适配用于在印度的真实道路上驾驶汽车,仅用 20 小时的驾驶数据训练驾驶策略,同时保持 Odyssey-3 主干网络冻结。该策略利用模型的视觉表征来预测车辆前方的路点,使其能够以闭环方式驾驶。

“走第一个环岛出口”

自主驾驶

“沿道路行驶”

自动驾驶

Odyssey-3 可生成多传感器数据

我们调整了 Odyssey-3,使其能够为特定的传感器配置生成观测数据。在一项早期实验中,我们使用一个自动驾驶数据集的前置三摄像头,一个 Odyssey-3 训练检查点在仅经过 100 个训练步骤后,就生成了三路摄像头视图同步生成的驾驶序列。

生成环境

生成环境

生成环境

生成环境

Odyssey-3 可帮助训练智能体

智能体是一种 AI 系统,它通过观察周围环境、选择动作,并利用所发生的结果来决定下一步该做什么,从而追求一个目标。世界模型可以提供这些决策得以发生的环境,为我们提供一种途径,来研究智能体如何对变化的条件作出响应,以及它能否在一个行为由学习得到的世界中完成一项任务。

在我们的任务完成演示中,智能体接收一个自然语言目标,并在 Odyssey-3 内部追求该目标,在朝着任务推进的过程中观察所生成的世界。

我们如何构建 Odyssey-3

Odyssey-3 的训练数据结合了互联网视频与时间局部化、模式验证的事件标注,带有时间对齐键盘和鼠标输入的游戏录制,以及带有字幕和元数据的模拟刚体交互。这些来源共同将多样化的观察与对发生事件的描述联系起来,并在可用的情况下,与产生这些事件的动作联系起来。

我们的设计目标是实现与环境进行动态、开放式交互,环境会随着用户的操作做出响应。我们将 Odyssey-3 构建为一个多步视频扩散 transformer,使用在时间上可解析的提示与控制来引导世界如何展开。随后,我们通过教师强制和因果掩码以自回归方式扩展该模型,训练它从先前的观测继续,并在以动作输入为条件的情况下预测未来状态。最后,我们采用一个后训练流程,结合分布匹配与对抗蒸馏,生成 Odyssey-3 的蒸馏变体——一个能够实时交互的少步模型。

立即体验 Odyssey-3

我们相信,世界模型将驱动能力日益强大的物理AI,生成其他智能体能够训练的环境,并带来全新类型的人类体验,我们相信Odyssey-3是朝着这一方向迈出的一大步。

你可以在我们的研究预览中试用Odyssey-3,提示一个环境、在其中行动,并观察世界模型如何响应。如果你正在开发机器人、人形机器人、自动驾驶汽车、无人机或任何其他自主系统,并希望探索基础世界模型如何加速你的工作,请联系我们。

来源:Odyssey · 世界模型研究 · odyssey.systems