能够再现真实物理世界的3D世界生成模型
リアルな物理世界を再現できるようになった3Dワールド生成モデル
输入文本或图像后,即可生成与该内容相符的3D世界的3D世界生成模型,是与故事生成模型并列、被期待应用于游戏开发的生成式AI。Morikatron AI Lab此前已介绍过3D世界生成模型的动向。
即便在2026年,3D世界生成模型的进化也没有停歇。因此,本文汇总了这些如今甚至能够再现物理世界的生成式AI的最新动向。
可转用于机器人开发的“Atlas”
于2025年11月发布3D世界生成模型“Marble”的AI初创公司World Labs于2026年9月1日发布了最新模型“Atlas”。该模型实现了下文所解说的4项生成功能。
第一项功能是通过相机控制生成3D世界。该功能是:输入一张以上的参考图像和相机位置移动信息后,即可沿着设定的相机移动路线浏览由图像生成的3D世界。

也可以将空间站与教堂这类彼此毫无关联的图像输入到3D空间中。Atlas会补全这些不相关图像之间的部分,生成一个3D空间。

第二个功能是物理世界的再现。向Atlas输入一张或多张关于物理世界的图像,该模型便会输出忠实再现物理世界的3D世界。输入图像的数量越多,物理世界再现的保真度就越高。

对物理世界的忠实再现并不止于以视频形式输出。它还可以作为3D点云数据或高斯泼溅(Gaussian Splatting)数据输出,从而用于CG制作和游戏开发。


第三个功能是物理世界的模拟。例如,用3台摄像机从不同位置拍摄草莓落入盛有牛奶的碗中的样子。将拍摄的视频输入Atlas后,就能让草莓落入碗中、牛奶溅起的样子定格展示,或者从未拍摄过的角度进行再现。

Atlas的模拟功能还能用于机器人开发。具体而言,例如输入拍摄了双臂机器人举起物体的视频,就可以改变物体的颜色和照明。像这样修改视频,便能生成机器人的训练视频。

第四个功能是视频和360度视频的生成。该功能是在实现以上解说的三个功能的过程中附带实现的。不过,它能够根据内容复杂的文本提示词进行生成。


搭载角色模式的“HY World 2.0”
2025年7月发布了“HunyuanWorld 1.0”的中国大型科技企业腾讯于2026年4月发布了最新后继模型“HY-World 2.0”。该模型实现了以下4项功能。
第1项功能是360度图像生成。该功能在输入文本提示词或1张图像后,会生成与输入内容相符的360度图像。此外,如果再添加相机移动信息,还可以在生成的世界内移动视点。

第2项功能是3D场景导出。生成的3D世界不仅可以作为360度图像或视频浏览,还可以导出为可在Unity或Unreal Engine中编辑的3D场景(下图展示的是将其作为体素数据导出的样子)。利用该功能,可以将通过文本提示词生成的3D场景导出到Unity等环境中,用于游戏关卡开发。

第3项功能是物理世界的再现。输入拍摄物理世界的数张图像或短视频后,即可生成忠实于物理世界的3D场景。将生成的3D场景导出后,可应用于建筑或室内设计业务。

第4项功能是角色模式。该功能是在生成的3D场景中插入人型或猫型角色,并探索3D场景。简单来说,就是可以立即生成简易的探索游戏。HY-World 2.0正在进化,除了3D世界生成之外,还兼具游戏引擎的功能。

如上所述的 HY-World 2.0 架构,由以下 4 个模块构成。
- 阶段1/全景图像生成:从文本或图像生成 360 度图像。
- 阶段2/轨迹规划:根据相机的位置移动信息,规划所生成世界的视点移动。若移动目标处有墙壁等,则避开碰撞等。
- 阶段3/世界扩展:根据规划好的视点移动,扩展 360 度图像。
- 阶段4/世界构成:将扩展后的 360 度图像重建为 3D 场景,使其能够导出到 Unity 等。

可以说,HY-World 2.0 的世界生成功能虽然不如 Atlas,但更重视与游戏引擎的联动等实际应用。
以3D场景为最小生成单位的“Echo-2”
与前述的World Labs一样,正在推进3D世界生成模型开发的AI初创公司SpAItial于2026年4月发布了“Echo-2”。
Echo-2的开发思想与Atlas和HY-World 2.0有着根本性的不同。这两个模型生成世界的最小单位是图像。相比之下,Echo-2的最小生成单位不是图像,而是3D场景。由于这一差异,Echo-2即使在渲染能力较低的硬件环境中,也能高速生成可在Web浏览器中交互的3D场景。
Echo-2与HY-World 2.0一样,支持角色在3D场景中移动。在这种移动过程中,并不是将视频循环播放,而是连续地生成3D场景。利用这一功能,可以轻松进行3D游戏的原型制作。

还可以从拍摄物理世界的一张图像出发,生成与物理世界相关的3D场景。这样的3D场景可作为在物理世界中运行的机器人的学习环境加以利用。

Echo-2独有的功能包括3D场景编辑和风格迁移。前者例如可以在生成一个空无一物的房间后,通过文本提示词添加家具。后者则是通过文本提示词改变生成后3D场景的样式(风格)。例如,可以把一个极为普通的房间变成洛可可风格的房间。


Echo-2最有趣的功能是从2D平面图生成3D场景(参见以上引用的视频)。使用该功能,例如房地产商可以从2D平面图生成可浏览的3D场景,向客户展示已生成的房产物件。
如上所述的Echo-2通过采用3D场景作为最小生成单位,可以说与建筑业、房地产业,乃至室内设计业务都非常契合。
本文介绍了3D世界生成模型的最新动向。这些模型实际投入实务使用的时期,被认为已近在眼前。如果这类模型普及,将在游戏开发、CG制作,乃至建筑业和室内设计业务中引发创新。
作者:吉本幸記
文章已经能够再现真实物理世界的3D世界生成模型首次发表于モリカトロンAIラボ。
来源:Morikatron AI Lab · 游戏 AI · morikatron.ai