arXiv · AI游戏论文· 一手来源· Rajit Rajpal·· 24 天前精选AI 评分70
Waypoint-1.5:面向消费级硬件的实时视频世界模型
Waypoint-1.5: A Real-Time Video World Model for Consumer Hardware
推荐理由
原文给出了从数据管线到运行时的完整技术拆解,读者可以据此理解实时交互视频世界模型在消费级硬件上的实现路径。
正文 · AI 翻译
我们推出 Waypoint 1.5,一个可在消费级硬件上运行交互式视频生成的实时扩散世界模型。与通用视频扩散模型不同,交互式世界模型(iWM)必须在严格的延迟和吞吐量约束下响应用户的密集控制输入。Waypoint 1.5 在涵盖数百款游戏的 100,000 小时多样化、控制对齐的游戏视频数据上进行预训练,并能够基于完整的键盘和鼠标输入生成可玩视频。该模型包含两种分辨率变体,可运行于广泛消费级硬件之上。为刻画这一独特场景,我们区分了渲染帧率(rendered FPS)、潜在帧率(latent FPS)和控制频率(control rate)。我们介绍了 Waypoint 1.5 背后的数据流水线、架构、训练方法和运行时系统。我们通过延迟和吞吐量来评估交互性。最后,我们讨论了 iWM 特有的安全与伦理考量。
来源:arXiv · AI游戏论文 · arxiv.org