虚拟试穿:IDM–VTON 论文

论文研究基于图像的虚拟试穿:给定人物与服装的图像,渲染人物穿着精选服装的图像。

核验日期

定义

论文称,基于图像的虚拟试穿(VTON)是一项计算机视觉任务,目标是根据图像渲染任意人物穿着特定服装的画面。论文考虑基于图像的虚拟试穿:给定分别展示人物和服装的一对图像,渲染人物穿着精选服装的图像。论文指出,先前工作改造现有的基于范例的修复扩散模型用于虚拟试穿,以提升生成画面相对于其他方法(如基于 GAN 的方法)的自然度,但未能保留服装的身份特征;近期基于扩散的 VTON 方法利用预训练文生图扩散模型的生成先验来提升试穿图像的自然度。

论文提出一种新的扩散模型,以提升服装保真度并生成真实的虚拟试穿图像。论文将其方法命名为 IDM–VTON,使用两个不同的模块编码服装图像的语义:在扩散模型的基础 UNet 上,视觉编码器提取的高层语义融合到交叉注意力层,并行 UNet 提取的低层特征融合到自注意力层。

一图看懂

论文的模型包含基础 UNet(TryonNet)、图像提示适配器(IP-Adapter)和服装 UNet 特征编码器(GarmentNet)。论文在实现中使用 SDXL 修复模型作为 TryonNet,预训练 IP-Adapter 作为图像适配器,SDXL 的 UNet 作为 GarmentNet。

  • TryonNet 是基础 UNet,处理带有姿态信息的遮罩人物图像。
  • IP-Adapter 提取服装的高层语义。
  • GarmentNet 提取服装的低层特征。
  • GarmentNet 的特征融合进 TryonNet 的自注意力层,随后与 IP-Adapter 的特征一起通过交叉注意力层处理。

原文没有明确这些要点的先后顺序，因此按要点列出，不画先后箭头。

工作原理

论文设计了注意力模块来对服装图像做条件控制,由编码服装高层语义的图像提示适配器和提取低层特征以保留细节的 UNet 编码器 GarmentNet 组成。论文指出,CLIP 图像编码器在提取服装低层特征方面存在不足。为编码服装图像,论文使用冻结的 CLIP 图像编码器提取特征,并微调特征投影层和交叉注意力层,这些层由预训练的 IP-Adapter 初始化。

论文提供一份描述服装形状或纹理等细节的完整文字说明。论文还为服装和人物图像提供详细的文本提示,以增强生成画面的真实感。论文表明,为服装图像提供详细说明有助于保留文生图扩散模型的先验知识。

论文提出的 IDM–VTON 定制方式,是用一对服装与人物图像对 TryonNet 进行微调;这一对图像要求人物图中的人已经穿着服装图中的那件服装。如果只有人物图像,论文的做法是从中分割出服装并将背景置白,以得到服装图像。在这一配对条件下,论文还提出用单对服装与人物图像定制模型,并称其在真实场景中尤其提升试穿图像的视觉质量,且这种使用一对人物与服装图像的定制方法显著提升保真度与真实感。

论文训练模型时使用 Adam 优化器,固定学习率为 1e-5,共 130 个 epoch,批大小为 24;推理时使用 30 步的 DDPM 调度器生成图像。论文在定制时使用 Adam 优化器,固定学习率为 1e-6,微调 100 步。

例子

论文收集了 In-the-Wild 数据集,其中的服装带有复杂图案,人物图像姿态和动作多样,与训练数据差异很大。In-the-Wild 数据集包含多张穿着每件目标服装的人物图像。该数据集由 62 张上装图像和 312 张穿着这些服装的人物图像组成,每件服装对应 4-6 张人物图像。

论文将其方法与基于 GAN 的方法 HR-VITON 和 GP-VTON 进行比较。论文在定量评估中测量低层重建分数(如 LPIPS 和 SSIM)以及使用 CLIP 图像相似度分数的高层图像相似度,并在 VITON-HD 和 DressCode 测试集上计算 FID 分数来评估生成图像的真实感。通过定制 IDM–VTON,论文得到与服装高度一致的试穿图像,但发现定制对 StableVITON 不能很好地起作用;论文称所提出的定制方法在真实场景中展示了有效性。

在定制层的消融中,论文发现使用 LoRA 微调更高效,但表现不如微调解码器层;论文也指出 IDM–VTON 难以保留遮罩区域内的人体属性,如纹身或痣。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。