跳到正文
CuteGuy☣️· 来源· @cutetoxicguy · X·· 4 天前精选AI 评分75
推荐理由

材料给出3DCodeVerse的代码化生成流程与研究者自评对比数据,可了解AI生成3D世界的另一条技术路线。

正文 · AI 翻译

🚀 3DCodeVerse 让 AI 编程智能体用代码创建完整的 3D 世界,而不是生成静态网格。而且据报道,它在 90% 的人类对比中击败了 Claude Design!

研究人员推出了 3DCodeVerse,这是一个新的生态系统,可通过可执行代码生成 3D 物体、关节角色、复杂环境、动画,甚至物理模拟。

与传统 AI 3D 生成器的关键区别是什么?

输出不是烘焙好的网格。它是一个可编辑、可执行、可验证的程序。

这意味着 AI 智能体可以通过编辑代码来修改几何体、调整材质、更改动画,并重建整个场景。

该项目有三个主要组成部分:

▪️ 3DCodeVerse-2M:一个数据集,包含约 269,600 个可执行 3D 程序,扩展为 203 万个代码-条件对。每个程序包括源文件、所需资产、描述和验证数据。

▪️ 3DCodeVerse Harness:一个多智能体框架,通过依赖图组织 3D 创建。智能体编写代码、执行代码、检查几何体、分析渲染结果、识别问题,并自动优化结果。

▪️ 3D 编码研究:训练配方、评估工具,以及用于改进 AI 模型生成 3D 内容方式的实用建议。

智能体工作流如何运作?

▪️ 规划:将请求分解为物体、组件、尺寸、材质和空间关系。

▪️ 构建:多个编码智能体并行生成场景的不同部分。

▪️ 验证:执行代码并检查碰撞、物体放置、连通性和关节运动。

▪️ 评估:视觉语言模型检查渲染视图并识别视觉缺陷。

▪️ 优化:智能体自动修复问题并重复该过程,直到取得更好的结果。

整个过程在生成期间无需人工干预。

基准测试结果尤其有趣。

在研究人员对 100 个文本到 3D 物体提示的人类评估中:

▪️ 当两个系统都使用 Claude Opus 5.5 时,相比 Claude Design 获得 90% 的偏好。

▪️ 相比使用同一模型的标准 Claude Code 获得 79% 的偏好。

▪️ 相比使用 GPT-6 Astra 的 Codex 获得 69% 的偏好。

▪️ 相比使用 Gemini 3.8 Flash 的 Gemini CLI 获得 87% 的偏好。

这些是研究人员报告的结果,并非独立评估。

微调也带来了重大改进:Qwen3.8-27B 在 3DCodeBench 上的执行率从 51.9% 提升到 92.9%。

支持的环境包括 Blender Python、Three.js、CadQuery、OpenSCAD、URDF、GLSL 和 OpenGL。

其应用范围超出了静态建模:

▪️ 程序化游戏环境和可复用资产

▪️ 绑定骨骼的角色和动画物体

▪️ 机器人和物理模拟

▪️ 具有精确空间控制的可编程世界

▪️ 使用 3D 场景作为运动和摄像机参考的 AI 视频生成

这是 AI 辅助游戏开发的一个迷人方向。

与其要求 AI 生成一个完成的 3D 资产,不如赋予它编程、检查、调试和持续改进整个 3D 世界的能力。

项目和交互式演示:
https://3dcodeverse.com/
GitHub:
https://github.com/gaoypeng/3dcodeverse

研究论文:
https://arxiv.org/abs/2610.22341
#AIAgents #3DGeneration #GameDev

来源:CuteGuy☣️ · x.com