VALSE 论文速览 第47期：PASTA-GAN：基于衣服块指引和空间自适应生成网络的非配对虚拟 ...

论文题目：Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN

作者列表：谢震宇 (中山大学)，黄载裕 (中山大学)，赵富威 (中山大学)，董浩业 (虎牙AI基础技术部)，Michael Kampffmeyer (UiT The Arctic University of Norway)，梁小丹 (中山大学)

B站观看网址：

https://www.bilibili.com/video/BV18r4y1h7Q6/

论文摘要：

2D虚拟换装任务需要实现将某件衣服试穿到指定的模特身上。目前，大多数2D虚拟换装算法将平铺衣服图像迁移到人体图像上，这类算法的训练依赖于平铺衣服-模特图的配对数据，而这类数据在现实场景中是比较难采集到的，因此限制了算法的可拓展性。此外，也有一些工作尝试在不同模特之间实现虚拟换装，但这些算法有些需要使用同个模特在不同姿态下图片作为训练数据，有些则需要在测试阶段引入在线优化，因此这些算法也面临着训练数据难以采集或测试开销大等问题。在该工作中，我们设计了一个无需依赖配对数据、端到端的虚拟换装模型，该模型可以实现任意两个模特之间的衣服互换。具体来说，为了解决无监督训练虚拟换装网络所面临的过拟合问题，我们设计了一个块引导的衣服解耦模块，该模块根据人体关键点，将原始衣服划分为一系列标准化衣服块，以此破坏衣服的空间位置信息，同时保留衣服类别风格信息。此外，我们会根据目标人体姿态，将标准衣服块进行变形、拼接，从而得到原始衣服在目标姿态下的形状。另一方面，为了让模型生成具有丰富纹理细节的换装结果，我们设计了一个空间自适应残差模块，将变形衣服的纹理特征嵌入生成网络中，引导网络生成逼真的换装结果。通过在不同数据集上和现有不同方法进行定量和定性比较，证明了我们方法可以生成外型更准确、纹理细节更丰富的换装结果。同时，通过一系列消融实验，进一步验证了我们方法各个模块的有效性。

论文信息：

[1] Zhenyu Xie, Zaiyu Huang, Fuwei Zhao, Haoye Dong, Michael Kampffmeyer, and Xiaodan Liang. " Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN." In Proceedings of the Conference on Neural Information Processing System (NeurIPS’21), virtual, December 2021.

论文链接：

[https://proceedings.neurips.cc/paper/2021/file/151de84cca69258b17375e2f44239191-Paper.pdf]

代码链接：

[https://github.com/xiezhy6/PASTA-GAN]

视频讲者简介：

谢震宇，中山大学博士研究生，研究方向为计算机视觉，目前专注于可控、可编辑生成模型的研究，包括2D/3D虚拟换装以及3D数字人/服装的重建。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：叶茫 (武汉大学)、刘昊 (宁夏大学)

季度责任AC：杨猛 (中山大学)