VALSE 论文速览 第60期：Exploiting Invariance of Mining Facial Landmarks

论文题目：Exploiting Invariance of Mining Facial Landmarks

作者列表：施江鸣 (宁夏大学)，高子贤 (宁夏大学)，刘昊 (宁夏大学)，于泽宽 (复旦大学)，李风军 (宁夏大学)

B站观看网址：

https://www.bilibili.com/video/BV1G44y1K7im/

论文摘要：

人脸关键点检测旨在从人脸图像中精准地识别出关键点结构，其在人脸识别、人脸编辑、年龄估计等任务中有至关重要的作用。然而，目前多数方法都基于数据 (人脸、关键点样本对)均匀分布这一与现实不符的假设。同时，在充分的训练下，深度学习模型仍存在面对大姿态、遮挡脸样本时泛化能力有限的问题。本文试图通过探索关键点的结构不变性属性，来解决这些问题。针对上述问题，受条件变分编码器的启发 (Conditional Variational Autoencoder，CVAE)，本文提出一种基于人脸关键点结构全局不变性的自监督方法，构建基于关键点结构分布的人脸图像，来学习决定关键点位置的本质因素。出于这一目标，本文的自监督框架分为三个模块，即检测模块、生成模块和重建模块。首先，通过生成模块的构建基于关键点数据分布的方法，更贴近真实的数据分布，在减轻数据偏差影响的同时，使数据扩增N2倍用于训练。其次，生成、重建模块提供了探索关键点结构不变性的可能，迫使模型专注于学习深层语义信息 (与传统方法不同)。最后，从信息论角度出发，设计了度量、约束各模块的自监督损失函数。

论文信息：

[1] Jiangming Shi#, Zixian Gao#, Hao Liu*, Zekuan Yu, and Fengjun Li. "Exploiting Invariance of Mining Facial Landmarks." In Proceedings of the 29th ACM International Conference on Multimedia. 2021:4380-4389.

论文链接：

[https://dl.acm.org/doi/abs/10.1145/3474085.3475582]

视频讲者简介：

施江鸣，宁夏大学硕士研究生，研究方向为计算机视觉，目前专注于人脸对齐。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：彭春蕾 (西安电子科技大学)、丁长兴 (华南理工大学)

季度责任AC：杨猛 (中山大学)