11月22日消息,上周五,英伟达(NVIDIA)推出了全新的 AI 工具 Magic3D,可以基于文本描述自动生成 3D 模型。
诸如,用户在输入“一只坐在睡莲上的蓝色毒镖蛙”之后,Magic3D 在大约 40 分钟内就能生成一个配有彩色纹理的 3D 网格模型。
英伟达将 Magic3D 对标谷歌的 DreamFusion。DreamFusion 是谷歌研究人员在 9月宣布的一种文本到 3D 模型的 AI 工具。与 DreamFusion 使用文本到图像模型生成 2D 图像,然后优化为体积 NeRF(神经辐射场)数据的方式类似,Magic3D 的渲染过程也分为两个步骤,将低分辨率生成的粗略模型优化为高分辨率。
Magic3D 还可以对 3D 模型进行基于提示的编辑。给定一个低分辨率的三维模型和一个基本的提示,就可以改变文字来改变生成的模型。另外,Magic3D 的作者还展示了在过去几个版本中保留的主题(这个概念通常被称为一致性),并将二维图像(如立体派绘画)的风格应用于三维模型。
目前,英伟达没有随其学术论文发布任何 Magic3D 代码。