文本到 3D:DreamFusion 论文与 2D 扩散模型

DreamFusion 论文使用预训练的 2D 文生图扩散模型来进行文本到 3D 的合成。

核验日期

定义

DreamFusion 论文使用预训练的 2D 文生图扩散模型来进行文本到 3D 的合成。论文提出一种基于概率密度蒸馏的损失,使 2D 扩散模型可以作为先验,用于优化参数化的图像生成器。论文称其方法不需要 3D 训练数据,也不需要修改图像扩散模型,并称 DreamFusion 不需要 3D 或多视角训练数据。

论文引言将神经辐射场(NeRF)描述为一种逆向渲染方法,其中体积光线追踪器与从空间坐标到颜色和体积密度的神经映射相结合。论文称,所得的分数蒸馏采样(SDS)方法可在可微图像参数化中通过优化进行采样,并称将 SDS 与针对这一 3D 生成任务定制的 NeRF 变体结合后,DreamFusion 能针对多样的用户文本提示生成高保真且连贯的 3D 物体和场景。

一图看懂

论文称,为了从文本合成场景,先用随机权重初始化一个类 NeRF 模型,再从随机的相机位置和角度反复渲染该 NeRF 的视图,并将这些渲染结果作为包裹 Imagen 的分数蒸馏损失函数的输入。论文描述了 DreamFusion 优化的每次迭代所执行的操作。

流程图: 用随机权重初始化一个类 NeRF 模型。 > 随机采样相机和光源。 > 从该相机渲染 NeRF 的图像,并用该光源进行着色。 > 计算 SDS 损失相对于 NeRF 参数的梯度。 > 使用优化器更新 NeRF 参数。1用随机权重初始化一个类 NeRF 模型。2随机采样相机和光源。3从该相机渲染 NeRF 的图像,并用该光源进行着色。4计算 SDS 损失相对于 NeRF 参数的梯度。5使用优化器更新 NeRF 参数。

工作原理

论文将 Dream Fields 描述为使用 CLIP 的冻结图文联合嵌入模型和基于优化的方法来训练 NeRF,并称自己采用与 Dream Fields 相似的方法,但把 CLIP 替换为由 2D 扩散模型蒸馏得到的损失。在论文中,场景由神经辐射场表示,该辐射场针对每条文本描述随机初始化并从头训练。论文从随机相机渲染 NeRF,并利用由密度梯度计算出的法线,以随机的光照方向为场景着色。

对于扩散模型,论文使用 Imagen 模型,该模型经过训练,可根据文本合成图像。论文称其模型建立在 mip-NeRF 360 之上,后者是 NeRF 的改进版本,可减少混叠。在论文的模型中,MLP 对表面本身的颜色进行参数化,再由作者控制的光照照亮,这一过程通常称为着色。

论文发现,根据随机采样相机的位置,在所提供的输入文本后附加与视角相关的文本是有益的。论文在带光照的彩色渲染、无纹理渲染以及不带着色的反照率渲染之间随机选择。论文的 3D 场景在一台带有 4 个芯片的 TPUv4 机器上优化,参数使用 Distributed Shampoo 优化器优化,计算时间在渲染 NeRF 与评估扩散模型之间平均分配。

例子

论文展示了 DreamFusion 可以根据自然语言描述生成 3D 物体,例如“a DSLR photo of a peacock on a surfboard”。在论文的消融实验中,不使用视角相关提示的基础方法会得到一只多面孔、几何形状扁平的狗。在同一消融实验中,加入视角相关提示可改善几何形状,但表面高度不平滑,导致着色渲染效果较差。

论文使用 Dream Fields 的以物体为中心的 COCO 验证子集中的 153 条提示进行评估,并以 R-Precision 衡量,即 CLIP 在给定场景渲染图时,从一组干扰项中检索出正确描述的准确率。论文报告称,在其 CLIP R-Precision 评估中,DreamFusion 在彩色图像上优于 Dream Fields 和 CLIP-Mesh 这两个基线并接近真实图像的表现,同时论文称这两个基线因在训练中使用 CLIP 而具有不公平的优势。论文报告称,在用无纹理渲染评估几何形状时,论文自己实现的 Dream Fields 接近随机水平,而 DreamFusion 有 58.5% 的时间与描述一致。

论文称 SDS 在应用于图像采样时不是一个完美的损失函数,相对于祖先采样常产生过饱和和过平滑的结果,并称使用 SDS 生成的 2D 图像样本相对于祖先采样往往缺乏多样性,而其 3D 结果在不同随机种子之间差异很小。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。