VALSE 论文速览 第55期：PyMAF：基于多尺度网格对齐反馈机制的三维人体模型重建 ...

论文题目：PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop

作者列表：张鸿文 (清华大学)，田雅婷 (南京大学)，周心池 (悉尼大学)，欧阳万里 (悉尼大学)，刘烨斌 (清华大学)，王利民 (南京大学)，孙哲南 (中科院自动化所)

B站观看网址：

https://www.bilibili.com/video/BV1kP4y1c7dY/

论文摘要：

目前，在单目人体模型重建方法中，基于回归的方法已逐渐成为主流。这些方法利用网络学习像素到模型参数的映射关系，能够以前馈的方式从单目图像中估计出人体模型的参数。然而，人体模型参数的微小偏差也会导致最终的网格和图像之间出现明显的对齐偏差。为了更好克服这个问题，我们提出了一种多尺度网格对齐反馈机制 (PyMAF)，以利用多尺度特征金字塔并根据网格与图像的对齐状态显式地修正模型参数。在PyMAF中，给定当前估计的模型参数，网络能够在空间特征图中提取相应的网格对齐特征，并反馈给回归器进行参数校正。为了减少空间特征图的噪声并提高其可靠性，我们在空间特征图上额外施加了辅助的稠密关联监督，使得网络能够在网格-图像关联监督下更好地保留特征中的相关信息。我们在Human3.6M、3DPW、LSP和COCO等几个基准数据库上验证了PyMAF方法的有效性。实验结果表明PyMAF方法能够明显改善网格模型与图像的对齐效果。

我们的代码、模型和视频结果均已公开，详情请查看项目主页：https://hongwenzhang.github.io/pymaf。

论文信息：

[1] Hongwen Zhang, Yating Tian, Xinchi Zhou, Wanli Ouyang, Yebin Liu, Limin Wang, Zhenan Sun. "PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop." In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11446-11456. 2021.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Zhang_PyMAF_3D_Human_Pose_and_Shape_Regression_With_Pyramidal_Mesh_ICCV_2021_paper.pdf]

代码链接：

[https://github.com/HongwenZhang/PyMAF]

视频讲者简介：

田雅婷，南京大学硕士研究生，研究方向为计算机视觉，目前主要研究三维人体模型重建。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：丁长兴 (华南理工大学)、彭春蕾 (西安电子科技大学)

季度责任AC：杨猛 (中山大学)