VALSE 论文速览 第211期：面向高保真虚拟试穿的纹理保持扩散模型 ...

论文题目：

Texture-Preserving Diffusion Models for High-Fidelity Virtual Try-On

作者列表：

Xu Yang (South China University of Technology)，Changxing Ding (South China University of Technology)，Zhibin Hong (S Research)，Junhao Huang (S Research)，Jin Tao (South China University of Technology)，Xiangmin Xu (South China University of Technology)

B站观看网址：

https://www.bilibili.com/video/BV1xUw9eoERC/

论文摘要：

基于图像的虚拟试穿是在线购物中日益重要的任务，旨在合成特定人物穿指定服装的图像。近来，基于扩散模型的方法因其在图像合成任务中的出色表现而变得流行。然而，这些方法通常采用额外的图像编码器，并依赖于交叉注意力机制来实现从服装到人物图像的纹理转移，这影响了试穿的效率和真实度。为了解决这些问题，我们提出了一种保持纹理的扩散（TPD）模型用于虚拟试穿，旨在提高结果的真实度，且不引入额外的图像编码器。因此，我们从两个方面做出了贡献。首先，我们提议将遮罩的人物和参考服装图像沿空间维度拼接，并将得到的图像作为扩散模型去噪UNet的输入。这使得扩散模型中原有的自注意力层能够实现高效准确的纹理转移。其次，我们提出了一种基于扩散的新方法，该方法能够基于人物和参考服装图像预测一个精确的修复遮罩，进一步提高了试穿结果的可靠性。此外，我们将遮罩预测和图像合成集成到一个紧凑的模型中。实验结果显示，我们的方法可以应用于各种试穿任务，例如，从服装到人物和从人物到人物的试穿，并在流行的VITON、VITON-HD数据库上显著优于最先进的方法。

参考文献：

[1] S. Choi, S. Park, M. Lee, J. Choo. Viton-hd: High Resolution Virtual Try-On Via Misalignment-aware Normalization. In CVPR, 2021.

[2] B. Yang, S. Gu, B. Zhang, T. Zhang, X. Chen, X. Sun, D. Chen, F. Wen. Paint by Example: Exemplar-based Image Editing with Diffusion Models. In CVPR, 2023.

论文链接：

[https://arxiv.org/pdf/2404.01089]

代码链接：

[https://github.com/Gal4way/TPD]

视频讲者简介：

杨煦是华南理工大学未来技术学院研究生。研究方向包括2D图像生成和3D人物运动生成。

个人主页：

https://github.com/Gal4way

特别鸣谢本次论文速览主要组织者：

季度责任AC：郑乾 (浙江大学)

月度轮值AC：杨文瀚 (鹏城实验室)、王立君 (大连理工大学)