更新时间:作者:佚名
大家好,今天给各位分享Meta 推出生成式人工智能“WorldGen”,可在几分钟内生成交互式3D 世界的一些知识,其中也会对进行解释,文章篇幅可能偏长,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在就马上开始吧!

根据Meta Reality Lab 的一份新技术报告,生成式人工智能“WorldGen”可以在大约五分钟内根据单个文本提示生成可穿越的交互式3D 世界。 WorldGen 架构解决了阻止生成式AI 在专业工作流程中发挥作用的特定痛点:功能交互性、引擎兼容性和编辑控制。
生成人工智能技术的突破使得基于单个文本或图像提示创建引人入胜的短片成为可能。 WorldGen结合了流程推理、扩散3D生成和对象感知场景分解技术,最终产生几何一致、视觉丰富且渲染高效的3D世界,适用于游戏、模拟和沉浸式社交场景。
生成式AI 在基于文本/图像提示生成高质量3D 资产方面取得了重大突破。 WorldGen融合并创新了多项现有的2D/3D生成技术:它首先生成3D场景图像,然后将图像重建为3D。整个过程分为多个阶段:
规划阶段的程序块模型生成
导航网格提取
参考图像生成
将舞台图像重建为3D 基础模型
基于导航网格的场景生成
初始场景纹理生成
分解阶段场景零件的提取(使用AutoPartGen的加速版)
场景分解数据组织
精细化处理图像增强
电网优化模型
纹理映射模型
其他现有方法通常根据单个指定视角从图像或文本提示生成交互式3D 世界,而不是建立在全局参考图像或完整布局的基础上。虽然中心视角附近的几何和纹理质量很高,但仅移动3-5 米后质量急剧下降。相比之下,WorldGen 可以生成50 x 50 米的完全纹理场景,始终保持风格和几何的完整性。未来,Meta将致力于实现更大规模的世界生成。
尽管该技术仍处于研究阶段,尚未向开发者开放,但WorldGen生成的内容直接兼容Unity和Unreal等主流游戏引擎,无需额外的转换或渲染管道。
WorldGen 推动了生成多样化、交互式和可探索世界的研究进程,但当前模型仍然存在需要解决的局限性。例如,未来的版本将能够生成更大的空间并减少生成延迟。