Lucy 2.5:提升实时 AI 的标准
Lucy 2.5: Raising the Bar for Live AI
2026年7月16日
更高质量的编辑、具备物理感知的视觉特效、更强的时间一致性,以及更低的延迟,全部以 30 FPS 实时生成。

Lucy 2.5 将实时 AI 编辑推向了前所未有的高度。Lucy 不只是一款更高质量的视频生成模型,更是一个实时系统,能够以 30 FPS 和 1080p 分辨率、近乎零延迟地改变视觉世界。每一帧都实时生成,持续响应运动、光照和不断变化的场景,从不依赖预先渲染的视频。
借助 Lucy 2.5,用户可以在视频仍处于实时流式传输状态时,无缝替换角色、更换服装、添加具有物理感知能力的视觉效果、变换整个环境、移除物体,并通过文本提示和参考图像精确编辑场景。编辑控制、时间稳定性和泛化能力方面的新进展,使这些变换比以往更加逼真、更加一致、也更加可靠。
— Decart 团队
更自然、更精确、更强大的编辑
- General
- 我们使用了一个专用模型,将图像编辑传播到视频编辑
- 我们使用了与通用场景描述对齐的提示词,以增强涌现泛化能力
- Fine control
- We used a coarse-to-fine prompting approach
- 粗略——简单的编辑指令
- 很好——关于位置、风格、颜色、大小等的细节。
- We used a coarse-to-fine prompting approach
- VFX(视觉效果)得到改进。诸如粘液、沙子、水、火等元素。
- 全局风格支持在保留结构和身份的同时更改整个场景
- 支持移除功能
Lucy 2.5 大幅提升了通用编辑的泛化能力。通过将我们的训练提示词与通用场景描述对齐,我们绕过了僵化的指令集,转而采用深度、涌现式的泛化。我们将其与从粗到细的标题控制层级相结合,使用户能够用简单的高层级编辑指令引导模型,或深入到关于位置、风格、颜色和大小的精确、细粒度细节。
为实现这种级别的涌现能力,模型需要规模与复杂度在自然条件下并不存在的训练数据。为弥合这一差距,我们构建了一个大规模的视频编辑数据合成语料库。我们从海量高质量图像到图像变换的基础数据出发,使用内部训练的专用模型,将静态图像编辑传播到完整视频序列中。该流水线有效地将单帧修改转化为丰富且时间一致的视频编辑对,用于训练我们的模型。
因此:
- VFX 在物理上表现自然:流水、火焰、流沙和黏稠泥浆等易变且复杂的元素在环境中自然地相互作用。
- 世界可进行全局变换,场景可重新设定主题:整段视频的美学风格可以被彻底重新构想。用户能够转换场景的基本设定,例如将阳光明媚的城市街道变为霓虹赛博朋克反乌托邦,同时严格保留原始主体的底层结构、几何形态与身份特征。
- 主体可被无缝替换:当用一个物体替换另一个物体时,模型能够理解原始的体积空间,确保新元素与现有的接触点、阴影和物理交互相匹配。
- 物体可被干净地移除:当某个元素被擦除时,模型会自然地重建新暴露出的背景几何结构,并且在时间上保持一致。
始终锁定的编辑
Lucy 2.5 引入了自锚定(Self-Anchoring)。在流式生成开始不久,模型会截取自身生成输出的一个快照,作为新的参考;该快照已经反映了编辑在实际场景、实际光照、构图和运动下的实现效果。由于锚点来自模型自身的分布,引导信号在整个 rollout 过程中保持清晰且信息丰富,而不会像自回归模型中常见的误差累积那样逐渐发散。重要的是,由于我们还在模型于推理时面对的相同自锚定条件下对其进行训练,它学会的不仅仅是将自身输出作为参考来容忍;它学会的是利用它。
因此:
- 编辑效果会持续保留。在直播开始的最初几秒内完成的角色替换或服装更换,几分钟后仍然保持不变。
- 身份在运动中保持稳定。主体可以离开画面、转身并返回,而编辑效果不会消散或变形。
- 稳定性会累积增强,而非逐渐衰减。结合 Smart History Augmentation,直播流能在显著更长的时间跨度内保持身份、几何结构和纹理。
比以往更快:推理栈背后的技术
实时性能是一个不断变化的目标:模型能力的每一次提升,都会抬高对其底层技术栈的要求。为了进一步降低延迟,我们从三个关键方面改进了此前的推理栈:
- 低精度量化。我们采用多种自定义量化技术,以 MXFP8 和 NVFP4 进行推理,借助原生硬件支持,在计算受限的操作上实现最高 4 倍的加速。
- 动态稀疏注意力。注意力机制在我们的 Transformer 前向传播中占主导地位,因此我们开发了一种自定义稀疏注意力算法,并配以量身定制的内核。它动态识别每次注意力调用中哪些计算是冗余的,并在不损失模型精度的情况下将其剪除。
- 更深入的内核融合。更激进的融合和改进的 megakernel 让我们更好地利用整个芯片,进一步降低启动开销和代价高昂的 HBM 事务,这些在低延迟推理中至关重要。
这些优化建立在我们现有的基础之上,使我们能够在保持模型质量不受影响的同时持续提升性能。
真实世界应用
Lucy 2.5 开启了新一代实时交互体验。由于每一帧在生成过程中都保持可编辑,实时视频成为一种动态媒介,能够持续适应用户、受众和情境。
借助 Lucy 2.5:
- 商业:购物通过实时虚拟试穿和个性化产品体验变得更具互动性。
- 广告:通过实时本地化、个性化和创意适配,一则广告可以衍生出无限多的变体。
- 流媒体:主播解锁与社区互动的新方式,让观众能够实时影响体验。
- 游戏:游戏突破屏幕界限,将互动玩法与物理世界无缝融合。
无论你是在构建商业、广告、娱乐、游戏还是媒体的未来,Lucy 2.5 都能将 Live AI 转化为你的下一个商业优势。
来源:decart · 交互世界模型 · decart.ai