材料给出3DCodeVerse的代码化生成流程与研究者自评对比数据,可了解AI生成3D世界的另一条技术路线。
🚀 3DCodeVerse 让 AI 编程智能体用代码创建完整的 3D 世界,而不是生成静态网格。而且据报道,它在 90% 的人类对比中击败了 Claude Design!
研究人员推出了 3DCodeVerse,这是一个新的生态系统,可通过可执行代码生成 3D 物体、关节角色、复杂环境、动画,甚至物理模拟。
与传统 AI 3D 生成器的关键区别是什么?
输出不是烘焙好的网格。它是一个可编辑、可执行、可验证的程序。
这意味着 AI 智能体可以通过编辑代码来修改几何体、调整材质、更改动画,并重建整个场景。
该项目有三个主要组成部分:
▪️ 3DCodeVerse-2M:一个数据集,包含约 269,600 个可执行 3D 程序,扩展为 203 万个代码-条件对。每个程序包括源文件、所需资产、描述和验证数据。
▪️ 3DCodeVerse Harness:一个多智能体框架,通过依赖图组织 3D 创建。智能体编写代码、执行代码、检查几何体、分析渲染结果、识别问题,并自动优化结果。
▪️ 3D 编码研究:训练配方、评估工具,以及用于改进 AI 模型生成 3D 内容方式的实用建议。
智能体工作流如何运作?
▪️ 规划:将请求分解为物体、组件、尺寸、材质和空间关系。
▪️ 构建:多个编码智能体并行生成场景的不同部分。
▪️ 验证:执行代码并检查碰撞、物体放置、连通性和关节运动。
▪️ 评估:视觉语言模型检查渲染视图并识别视觉缺陷。
▪️ 优化:智能体自动修复问题并重复该过程,直到取得更好的结果。
整个过程在生成期间无需人工干预。
基准测试结果尤其有趣。
在研究人员对 100 个文本到 3D 物体提示的人类评估中:
▪️ 当两个系统都使用 Claude Opus 5.5 时,相比 Claude Design 获得 90% 的偏好。
▪️ 相比使用同一模型的标准 Claude Code 获得 79% 的偏好。
▪️ 相比使用 GPT-6 Astra 的 Codex 获得 69% 的偏好。
▪️ 相比使用 Gemini 3.8 Flash 的 Gemini CLI 获得 87% 的偏好。
这些是研究人员报告的结果,并非独立评估。
微调也带来了重大改进:Qwen3.8-27B 在 3DCodeBench 上的执行率从 51.9% 提升到 92.9%。
支持的环境包括 Blender Python、Three.js、CadQuery、OpenSCAD、URDF、GLSL 和 OpenGL。
其应用范围超出了静态建模:
▪️ 程序化游戏环境和可复用资产
▪️ 绑定骨骼的角色和动画物体
▪️ 机器人和物理模拟
▪️ 具有精确空间控制的可编程世界
▪️ 使用 3D 场景作为运动和摄像机参考的 AI 视频生成
这是 AI 辅助游戏开发的一个迷人方向。
与其要求 AI 生成一个完成的 3D 资产,不如赋予它编程、检查、调试和持续改进整个 3D 世界的能力。
项目和交互式演示:
https://3dcodeverse.com/
GitHub:
https://github.com/gaoypeng/3dcodeverse
研究论文:
https://arxiv.org/abs/2610.22341
#AIAgents #3DGeneration #GameDev
来源:CuteGuy☣️ · x.com