VALSE Webinar 20220921-25期 总第292期 “眼见未必为实”：人脸安全研究进展 ... ...

报告嘉宾：万军 (中国科学院自动化研究所)

报告题目：多模态人脸防伪研究：方法、数据、竞赛

报告嘉宾：邓伟洪 (北京邮电大学)

报告题目：安全可信的人脸识别

Panel嘉宾：

万军 (中国科学院自动化研究所)、邓伟洪 (北京邮电大学)、周文柏 (中国科学技术大学)、易冉 (上海交通大学)

Panel议题：

1. 理论分析方面，在中国科协2022重大前沿科学问题中提出“如何实现可信可靠可解释人工智能技术路线和方案？”这一问题，聚焦到人脸安全领域，如何理解人脸防伪等技术的可信可靠可解释能力？例如对抗学习、可解释机器学习能否为我们研究方案的设计提供理论支撑？

2. 解决思路方面，对于人脸活体检测和deepfake人脸伪造检测两类任务，我们回顾它们的发展历程会发现，均曾提出过基于颜色纹理特征、面部动作分析、生物信号特征rPPG等经典方法，以及基于深度学习模型的真伪分类方法等。那么这两类任务之间有哪些区别与联系？能否进行相互借鉴，亦或联合学习与分析？

3. 鲁棒性方面，近年来人脸防伪的数据集规模和种类都在不断丰富扩大，例如拓展到多模态数据、多种族数据等，以及考虑网络传播带来的压缩、噪声等受损数据。为此，我们对于提升检测算法的泛化性有哪些思路？如何才能应对层出不穷的新颖数据类型，为技术落地和实战应用提供支撑？

4. 实际应用方面，目前人脸安全检测相关技术的实际应用场景有哪些？具体落地情况如何？在产业化应用的同时，对于相关国家标准和政策规范方面还有哪些需要填补的短板和不足？

5. 未来展望方面，在人脸安全领域有哪些新颖前沿的研究方向，或者新思路与新技术？有哪些可能面临的挑战？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：万军 (中国科学院自动化研究所)

报告时间：2022年09月21日 (星期三)晚上20:00 (北京时间)

报告题目：多模态人脸防伪研究：方法、数据、竞赛

报告人简介：

万军，中国科学院自动化研究所模式识别国家重点实验室副研究员，国家重点研发计划“战略性科技创新合作”重点专项项目负责人，中国科学院对外合作重点项目负责人，基金委国际 (地区)合作项目负责人，IEEE Senior Member，Chalearn理事会成员，研究方向为智能视频分析与交互。发表论文70余篇 (含一作/ 通讯IEEE TPAMI、JMLR、IJCV、CVPR等)，专 (编)著 3 本，Google Scholar 2400余次。受IEEE TPAMI前主编、多伦多大学Sven Dickinson教授邀请以第一作者撰写首部多模态人脸防伪专著。担任IEEE TPAMI和IEEE TBIOM客座编辑、SCI期刊IET Biometrics 副主编和ICME 2021/ 2022 领域主席，AAAI 2021 Senior PC, 在ICPR 2016、ICCV 2017、CVPR 2019、CVPR 2020、ICCV 2021国际顶级会议举办组织研讨会和比赛，累计吸引超过1200支国内外队伍参赛，获得国内外广泛关注。曾获得第十三届北京青年优秀科技论文一等奖，北京地区2020 年广受关注学术成果优秀论文、国内外竞赛冠亚军5项。

个人主页：

https://people.ucas.ac.cn/~jwan

报告摘要：

由于大算力、大数据、深度学习的共同推动、人脸识别系统已广泛应用于智慧城市、海关、银行等公共安全领域。对于人脸识别系统，人脸假体攻击可能会导致政府部门出现严重的安全问题。因此，人脸防伪 (或活体)检测是人脸识别系统中最关键环节之一。本报告从多模态人脸防伪防伪核心问题出发，介绍课题组在三个方面的研究工作：1) 方法：多模态、跨模态、灵活模态上做的探索性工作；2) 数据：大规模多模态活体数据库构建；3) 竞赛和研讨会：回顾最近三年在计算机顶会CVPR 2019, CVPR2020和ICCV2020上赛事内容。

参考文献：

[1] Ajian Liu, Chenxu Zhao, Zitong Yu, Jun Wan*, Anyang Su, Xing Liu, Zichang Tan, Sergio Escalera, Junlinag Xing, Yanyan Liang, Zhen Lei, Guodong Guo, Stan Z. Li, Du Zhang, "Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face Presentation Attack Detection", IEEE Transactions on Information Forensics & Security (TIFS), 2022.

[2] Ajian Liu, Zichang Tan, Jun Wan*, Yanyan Liang, Zhen Lei, Guodong Guo, Stan Z. Li, "Face Anti-spoofing via Adversarial Cross-modality Translation", IEEE Transactions on Information Forensics & Security (TIFS), 2021.

[3] Shifeng Zhang, Xiaobo Wang, Ajian Liu, Chenxu Zhao, Jun Wan*, Sergio Escalera, Hailin Shi, Zezheng Wang, Stan Z. Li, "A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing", CVPR, 2019.

[4] Ajian Liu, Yanyan Liang, MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing, IJCAI, 2022.

[5] Ajian Liu, Xuan Li, Jun Wan*, Yanyan Liang, Sergio Escalera, Hugo Jair Escalante, Meysam Madadi, Yi Jin, Zhuoyuan Wu, Xiaogang Yu, Zichang Tan, Qi Yuan, Ruikun Yang, Benjia Zhou, Guodong Guo, Stan Z. Li,, "Cross-ethnicity Face Anti-spoofing Recognition Challenge: A Review", IET Biometrics, 2020.

[6] Ajian Liu, Chenxu Zhao, Zitong Yu, Anyang Su, Xing Liu, Jun Wan*, Sergio Escalera, Hugo Jair Escalante, Zhen Lei, Guodong Guo "3D High-Fidelity Mask Face Presentation Attack Detection Challenge", ICCVW, 2021

[7] Ajian Liu, Zichang Tan, Jun Wan*, Sergio Escalera, Guodong Guo, Stan Z. Li, "CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing", WACV, 2021

[8] Ajian Liu, Jun Wan*, Sergio Escalera, Hugo Jair Escalante, Zichang Tan, Qi Yuan, Kai Wang, Chi Lin, Guodong Guo, Isabelle Guyon, Stan Z. Li, "Multi-modal Face Anti-spoofing Attack Detection Challenge at CVPR2019", CVPR workshop, 2019.

报告嘉宾：邓伟洪 (北京邮电大学)

报告时间：2022年09月21日 (星期三)晚上20:30 (北京时间)

报告题目：安全可信的人脸识别

报告人简介：

邓伟洪，北京邮电大学人工智能学院教授，网络空间安全学院副院长，研究方向为生物特征识别、可信人工智能、情感计算、多模态学习。近年来主持国家重点研发计划课题、国家自然科学基金等项目20余项，在IEEE TPAMI、IJCV、TIP、TIFS、TNNLS等国际期刊以及ICCV、CVPR、ECCV、NIPS、KDD等国际会议发表论文100多篇，谷歌学术引用10000余次，曾担任ECCV、ACMMM、IJCAI、ICPR、ICME等国际会议领域主席，入选北京市优秀博士学位论文、北京市科技新星、教育部新世纪优秀人才、教育部青年长江学者、Elsevier中国高被引学者等。

个人主页：

https://teacher.bupt.edu.cn/dengweihong/zh_CN/index/60339/list/index.htm

报告摘要：

海量标注数据和深度学习技术推动了人脸识别的广泛应用，现有模型在数据集上的性能已经超越人类。然而，在真实世界中，训练和测试的环境差异、地域差异、伪造和对抗攻击等挑战导致大部分视觉识别应用的稳定性仍不理想，甚至造成种族偏见等伦理问题和伪造人脸等安全问题等。同时，隐私保护和数据安全也引起了人们的广泛担忧。本报告将从数据集建设、深度学习算法和性能评价等角度，汇报近期在以下方面的研究进展：1) 高精度识别与公平性识别；2) 联邦学习人脸识别；3) 对抗攻击与“一人一码”人脸隐私保护；4) 基于远程生理信号的deepfake检测；5) 域泛化人脸活体检测。

参考文献：

[1] Yaoyao Zhong, Weihong Deng, OPOM: Customized Invisible Cloak Towards Face Privacy Protection, IEEE TPAMI 2022.

[2] Z Wang, Z Wang, Z Yu, W Deng, J Li, S Li, Z Wang, Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing, CVPR 2022.

[3] Jiahao Liang, Weihong Deng, et al., Exploring Disentangled Content Information for Face Forgery Detection, ECCV 2022

[4] Yifan Niu, Weihong Deng, Federated Learning for Face Recognition with Gradient Correction, AAAI 2022

[5] Mei Wang, Yaobin Zhang, Weihong Deng, Meta Balanced Network for Fair Face Recognition, IEEE TPAMI 2021

[6] Yaoyao Zhong, Weihong Deng, et al., SFace: Sigmoid-constrained Hypersphere Loss for Robust Face Recognition, IEEE TIP 2021.

Panel嘉宾：周文柏 (中国科学技术大学)

嘉宾简介：

周文柏，中国科学技术大学网络空间安全学院特任副研究员， 中国科大“墨子杰出青年”。中国图像图形学会数字媒体取证与安全专委会委员，青年组组长。主要研究兴趣包括信息隐藏和人工智能安全，发表IEEE TIFS、TIP、CVPR、ICCV、AAAI等高水平论文三十余篇，担任TPAMI、AAAI、CVPR、ICCV、IJCV等多个期刊会议的PC member与审稿人。参与由Facebook发起的全球最高水准与最大规模人脸深度伪造检测挑战赛DFDC，获全球第二，入选2014年以来中国人工智能安全领域的8项代表性成果，参与阿里巴巴-IJCAI19人工智能算法对抗赛，获防御赛道第一。主持国家自然科学基金、国家重点研发计划子课题、安徽省重点研发、安徽省自然科学基金、CCF-蚂蚁金服科研基金等多项课题。

个人主页：

http://staff.ustc.edu.cn/~welbeckz/

Panel嘉宾：易冉 (上海交通大学)

嘉宾简介：

易冉，博士，上海交通大学计算机科学与工程系助理教授。2016年获得清华大学工学学士学位，2021年获得清华大学工学博士学位。入选上海市2022年度“科技创新行动计划”启明星项目扬帆专项。从事计算机图形学、计算机视觉和计算几何等方面的研究。近五年共发表录用30余篇论文于IEEE TPAMI、ACM TOG、SIGGRAPH、CVPR、ICCV、TVCG、AAAI等国际期刊和会议，其中CCF-A国际期刊会议18篇。获得2021年度中国图象图形学学会石青云女科学家奖 (青英组)、中国计算机学会计算机视觉专委会学术新锐奖、第十六届图像图形技术与应用学术会议 (IGTA2021)论文竞赛一等奖、北京市图象图形学学会优秀博士论文、清华大学优秀博士学位论文、微软学者提名奖等学术奖项。担任中国图象图形学学会智能图形专委会、动画与数字娱乐专委会委员，TPAMI、IJCV、TIP、CVPR、ICCV、NeurIPS、ICLR、AAAI等国际顶级期刊会议审稿人。

个人主页：

https://yiranran.github.io

主持人：彭春蕾 (西安电子科技大学)

嘉宾简介：

彭春蕾，西安电子科技大学华山菁英副教授，在IEEE TPAMI、中国科学：信息科学、IEEE TIP、TIFS、TNNLS、ICCV、ICML、IJCAI、ECCV等国内外刊物发表论文30余篇，主持国家自然科学基金面上项目、青年项目、中国博士后基金特别资助，获CSIG自然科学二等奖、陕西省优秀博士学位论文、CSIG优秀博士学位论文奖。担任国际知名期刊《The Visual Computer》编委以及AAAI、IJCAI等多个会议PC Member。

个人主页：

https://web.xidian.edu.cn/clpeng/

特别鸣谢本次Webinar主要组织者：

主办AC：彭春蕾 (西安电子科技大学)

协办AC：丁长兴 (华南理工大学)