🎮 VAST 刚刚发布了 EdenLive，这是一个开源 AI 系统，可在 24 FPS 下实时将粗糙的 3D 游戏环境转化为照片级真实感视频！

想象一下，先搭建一个简单的灰盒游戏，只有基础几何体、占位纹理和粗糙动画，然后让 AI 在你实际游玩时把一切转化成视觉细节丰富的世界。

这正是 EdenLive 的设计目标。

而最令人印象深刻的部分？其 5B 模型可在单块 NVIDIA RTX 5090 上实现实时 720p 级渲染。

EdenLive 如何工作？

该系统将游戏逻辑与视觉渲染分离。

▪️ 游戏引擎：处理物理、玩家控制、交互、物体位置和世界状态。

▪️ 代理视频：简化的 2D 或 3D 表示提供场景布局、相机运动和运动信息。

▪️ AI 渲染器：接收代理流、参考首帧和文本提示，然后生成与底层场景匹配的详细视频。

▪️ DINOv3 编码器：从代理帧中提取视觉特征，并将其输入扩散 Transformer。

这意味着 AI 不需要模拟整个世界。它只需要渲染游戏引擎已经在做的事情。

有两种模型架构可用：

▪️ EdenLive 14B：基于 Wan2.1 I2V 构建，面向 480p 生成。

▪️ EdenLive 5B：基于 Wan2.2 构建，面向 720p 生成。

两者都支持两种推理模式：

▪️ 双向：联合处理视频帧，以提高一致性。

▪️ 流式：使用分块自回归生成，每个块仅需 4 个去噪步骤。

轻量级 TAEHV 解码器可实现快速视频解码。

性能令人印象深刻。

借助 LightX2V 优化，VAST 报告在单块 RTX 5090 上、1280×704 分辨率下约为 24.7 FPS。

研究人员还展示了持续数分钟的连续生成。

此外，还有面向游戏开发者的额外内容。

此次发布包含 EdenGolem，这是一种 AI agent 技能，可将文本描述转化为基本的可玩游戏，另有一个将游戏连接到 EdenLive 渲染管线的前端。

原则上，工作流变成：

描述一个游戏 → 生成可玩原型 → 用 AI 实时渲染其世界。

有哪些可用内容？

▪️ 5B 和 14B 模型的开放权重。

▪️ 双向和流式检查点。

▪️ 实时推理和流式代码。

▪️ 完整模型包约 210 GB。

▪️ 一个 FLUX.2 Klein 组件，用于在完整工作台中生成初始参考帧。该组件采用非商业许可。

参考安装要求很高，尽管 5B 模型支持优化的单 GPU 推理。

对游戏开发者来说，这是一个迷人的方向。

开发者不必花费数年创建高质量纹理、光照和环境，而是有可能构建简单的交互世界，并让生成式 AI 处理其视觉外观。

现在仍处于早期，但神经渲染引擎取代传统图形管线部分环节的想法正变得越来越切实可行。

项目与演示：

https://vast-eden.ai/?p=edenlive

GitHub：

https://github.com/VAST-AI-Research/EdenLive

模型权重：

https://huggingface.co/VAST-AI/EdenLive

#GameDev #GenerativeAI #OpenSourceAI