20200325-06 Face-based Human Understanding: beyond Face Recognition

报告嘉宾：韩琥（中科院计算所）

报告题目：Beyond Face Recognition: Remote Physiological Signal Sensing

报告嘉宾：洪晓鹏（西安交通大学）

报告题目：智能微表情分析：挑战与趋势

Panel议题：

1. 继人脸识别大规模成功应用之后，最有可能获得大规模应用的人脸感知技术是什么？Face-based Human Understanding的定义是什么？关注的核心问题有哪些？在理论、方法和应用方面有什么最新进展？目前的瓶颈和挑战是什么？

2. 与人脸识别相比，Face-based Human Understanding的实现路径会有何差异？如果依赖深度学习，如何解决大规模数据难以获得的问题？如何解决可能的样本不均衡、噪声标注和小样本学习等问题？

3. 人脸识别中遇到的常见挑战性因素（如，遮挡、跨种族/姿态/年龄、化妆、表情及光照变化等）是否在Face-based Human Understanding中也会同样遇到，即对人脸图像的质量有没有要求、有哪些要求？如何解决这些挑战？

4. 对于表情识别、基于摄像头测量Physiological Signal（如，心率、呼吸率、血氧饱和度等）等应用而言，在没有深度和红外信息辅助的情况下，仅利用RGB图像可以做好吗？

5. 多模态 （Multi-modal）在这类研究中的发展现状和应用前景？

6. 相比人脸识别，Face-based Human Understanding技术是否需要更强的可解释性？如何实现？

7. 关于Face-based Human Understanding研究，学术界和工业界各有什么侧重和优势？

8. 关于Face-based Human Understanding研究，在未来研究中有哪些值得关注的理论和技术？未来的发展趋势如何？

Panel嘉宾：

韩琥（中科院计算所）、洪晓鹏（西安交通大学）、郭彦东（OPPO）、申省梅（澎思科技）、杨恒（深圳爱莫科技）

报告人简介：

韩琥，中科院计算所副研究员，硕士生导师。2011年毕业于中科院计算所获博士学位（导师: 高文院士），之后分别在美国密歇根州立大学（合作者: A.K. Jain院士）和美国谷歌总部从事视觉生物特征分析与识别研究工作，曾担任谷歌Abacus项目核心研发成员。2015年加入中科院计算所，主要研究方向为计算机视觉与模式识别、智能生物感知及医疗影像分析。在IEEE T-PAMI/T-IP/T-IFS/T-BIOM、CVPR、ECCV、NeurIPS、MICCAI等领域权威国际期刊与会议上发表学术论文50余篇（第一作者IEEE T-PAMI长文3篇），谷歌学术引用2500余次（H-Index：24）；作为负责人承担国家重点研发子课题、基金重点子课题、基金面上、中科院对外合作及企业合作等课题10余项。相关工作与技术3次获得会议最佳学生论文/最佳海报论文奖（包括人脸分析领域知名国际会议FG2019最佳海报论文奖），3次获得国际竞赛的冠亚军。

个人主页：

http://www.escience.cn/people/hhan/index.html

报告摘要：

In recent years face analysis and recognition technologies have obtained repaid development and are becoming mature in many areas. For example, face recognition technologies are now being widely in our daily life including access control, person authentication, smartphone unlock, video surveillance, etc. While the uniqueness characteristic of face has being deeply exploited, face can convey more information beyond identity, like expression/emotion, attribute, and even physiological signals (e.g., heart rate and respiration rate). This talk will introduce the development of remote physiological signal sensing methods, covering a brief review of milestone of this area, representative methods, databases and measures, as well our thoughts and efforts in resolving the challenges in this problem.

参考文献：

[1] Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.," Opt. Express 18, 10762-10774 (2010).

[2] Xiaobai Li, Jie Chen, Guoying Zhao, Matti Pietikainen; Remote Heart Rate Measurement From Face Videos Under Realistic Situations. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp. 4264-4271.

[3] Xuesong Niu, Shiguang Shan, Hu Han, and Xilin Chen. RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation, IEEE Transactions on Image Processing (T-IP), vol. 29. no. 1, pp. 2409-2423, Dec. 2020.

[4] Xuesong Niu, Xingyuan Zhao, Hu Han, Abhijit Das, Antitza Dantcheva, Shiguang Shan, and Xilin Chen. Robust Remote Heart Rate Estimation from Face Utilizing Spatial-temporal Attention. in Proc. 14th IEEE International Conference on Automatic Face and Gesture Recognition (FG), pp. 1-8, Lille, France, May 14-18, 2019. (Best Poster Award)

[5] Xuesong Niu, Hu Han, Shiguang Shan, and Xilin Chen. VIPL-HR: A Multi-modal Database for Pulse Estimation from Less-constrained Face Video. in Proc. 14th Asian Conference on Computer Vision (ACCV), pp. 562-576, Perth, Australia, Dec. 2-6, 2018.

[6] Xuesong Niu, Hu Han, Shiguang Shan, and Xilin Chen. SynRhythm: Learning a Deep Heart Rate Estimator from General to Specific. in Proc. 24th International Conference on Pattern Recognition (ICPR), pp. 3580-3585, Beijing, China, Aug. 20-24, 2018.

报告人简介：

洪晓鹏，博士，西安交通大学特聘研究员，博士生导师。回国前曾获芬兰奥卢大学Docent（副高、博士生导师）头衔。主要从事视频监控、连续学习和微表情分析等方面的研究工作。已在T-PAMI、T-IP、T-MM等IEEE/ACM会刊和CVPR、ICCV和AAAI等顶级学术会议上发表文章30余篇，合作出版专著一本，单篇所载刊物最高影响因子17.73。其在微表情分析方面的相关工作受到了包括美国《麻省理工技术评论》和英国《每日邮报》在内的国际权威媒体专文报道。先后主持科技部重点研发计划课题和芬兰信息技术学会博士后科研基金项目。担任ACM MM 等权威国际会议的领域主席并先后在主流国际会议上举办了五场专题研讨会。

个人主页：

http://gr.xjtu.edu.cn/web/hongxiaopeng

报告摘要：

人类表达自身情感最重要的方式是通过表情这种非语言行为来进行。微表情是一种持续时间非常简短的自发人类脸部表情，往往反映了人们希望隐藏的真实情感所以不容易假冒。因此自动检测并识别这些转瞬即逝的信息在安防、医疗、商业等许多领域都具有广泛的应用前景。报告人在自动微表情分析方向上开展了多年研究。本次报告将简要汇报其在相关方面的主要工作，包括（一）微表情视频预处理与识别框架、（二）基于深度学习的微表情检测与识别算法、（三）、利用多模态\跨数据集解决小样本问题的尝试等。

参考文献：

[1] X. Li, X. Hong, A. Moilanen, X. Huang, T. Pfister, G. Zhao, M. Pietikäinen. Towards Reading Hidden Emotions: A Comparative Study of Spontaneous Micro-expression Spotting and Recognition Methods. IEEE Transactions on Affective Computing, Vol. 9, No. 4, pp. 563-577, IEEE TAFFC, 2018.

[2] Z. Xia; X. Hong; X. Gao; X. Feng; G. Zhao. Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions. IEEE Transactions on Multimedia, Vol. 22, No. 3, pp. 626-640, IEEE TMM, 2019.

[3] X. Hong; W. Peng; M. Harandi; Z. Zhou; M. Pietikäinen, and G. Zhao. Characterizing Subtle Facial Movements via Riemannian Manifold. ACM Transactions on Multimedia Computing Communications and Applications, Vol. 15, No. 3s, pp. 1-24, ACM TOMM, 2019.

嘉宾简介：

Yandong Guo earned his Ph.D. in ECE from Purdue University at West Lafayette, under the supervision of Prof. Bouman and Prof. Allebach. Before that, he received his B.S. and M.S. degree in ECE from Beijing University of Posts and Telecommunications, China.
Yandong Guo is the chief scientist of OPPO research, leading the artificial intelligent department. He also holds an adjunct professor position in Beijing University of Posts and Telecommunications, and University of Electronic Science and Technology of China. Before he joined OPPO, he was the chief scientist of XPeng Motors, and vice president leading the artificial intelligent product center. At XPeng Motors, he delivered the first full function DMS, intelligent sensing system, and many other AI products on mass production cars. He was a researcher at Microsoft Research, Redmond WA in the United States. His professional interests lie in the broad area of computer vision, imaging system, human behavior understanding and biometric, and autonomous driving.

个人主页：

https://scholar.google.com/citations?user=fWDoWsQAAAAJ&hl=en

嘉宾简介：

申省梅，澎思科技首席科学家、新加坡研究院院长。申省梅是人工智能和深度学习领域的带头人，前新加坡（松下）研究院副院长，领导超过 40 人的算法研究团队，累计专利 300 余项。上世纪 80 年代起就从事人工智能在无人驾驶汽车和医学心电图辅助诊断等领域的相关研究。1992 年加入新加坡松下研究院，从事音视频信号处理和压缩算法设计和应用，随后专注于图像识别领域的研究工作。2013 年就率先带领团队转向深度学习方向，在深度学习、计算机视觉领域取得了瞩目的成绩，拥有计算机视觉的全栈技术能力，技术面横跨多个应用领域，在基于深度学习的人脸检测和识别、行人检测和跟踪、行人再识别、车辆识别、自动驾驶、驾驶员行为检测、移动操作机器人等领域均取得了世界顶级成果。2019 年 3 月，申省梅加入国内 AI 公司澎思科技，任首席科学家、新加坡研究院院长，致力于监控与安全、智慧城市、自动驾驶、智能机器人以及 AI 工厂自动化等领域的相关技术研究。在 2019 年，申省梅带领澎思新加坡研究院已经斩获 13 项计算机视觉技术相关世界冠军，遍布人脸识别（Face Recognition）、行人再识别（Person ReID）、车辆再识别（Vehicle ReID）和异常行为检测（Anomaly Detection）等计算机视觉技术多个领域。

个人主页：

https://scholar.google.com.sg/citations?user=zTf1pisAAAAJ&hl=zh-CN

嘉宾简介：

杨恒，深圳爱莫科技创始人，复旦大学兼职导师，2015年毕业于伦敦大学玛丽女王学院获得博士学位，2015-2016年在剑桥大学计算机系从事研究工作，师从Emotional Computer先驱Peter Robinson教授。主要研究方向计算机视觉，在CVPR/ICCV/TIP等会议和期刊发表论文20余篇，曾长期负责多模态情感分析的著名数据库DEAP的维护。曾作为核心成员参与多项国家863/973项目和欧盟FP7项目，积极推动计算机视觉特别是人脸分析在健康和安全行业应用突破，在互动娱乐、新零售、安防、汽车辅助驾驶、部队等多个行业得到规模化应用。

个人主页：

https://scholar.google.co.uk/citations?user=UalYAksAAAAJ&hl=en

主持人简介：

山世光，中科院计算所研究员、博导，现任中科院智能信息处理重点实验室常务副主任。他的研究领域为计算机视觉和机器学习。已合作发表/录用CCF A类论文90余篇，全部论文被谷歌学术引用18,000余次。研究成果获2005年度国家科技进步二等奖（第3完成人）和2015年度国家自然科学二等奖（第2完成人），CVPR 2008 Best Student Poster Award Runner-up奖。他带领团队研发的人脸识别技术已应用于公安部门、华为等众多产品或系统中。曾应邀担任过ICCV11、ACCV12/16/18、ICPR12/14/20、FG13/18/20、ICASSP14、BTAS18、CVPR19/20/21等十余次领域主流国际会议的领域主席，现/曾任IEEE T-IP、CVIU、PRL、Neurocomputing、FCS等国际学术刊物的编委（AE）。他是基金委优青，第三批国家万人计划入选者，科技部创新人才推进计划中青年科技创新领军人才，人社部国家百千万人才工程有突出贡献中青年专家，CCF青年科学家奖获得者，北京市科技新星，中科院青促会优秀会员。

个人主页：

http://vipl.ict.ac.cn/people/~sgshan

主持人简介：

赵健，军事科学院助理研究员，VALSE执行AC、CASIG-BVD委员。于2019年获得新加坡国立大学博士学位（导师：冯佳时、颜水成）。主要研究领域为深度学习、模式识别、计算机视觉与多媒体分析，尤其专注于无约束/大规模/小样本/异质/基于集合的人脸识别、基于深度对抗学习的图像生成、超分辨率、基于知识蒸馏的模型压缩、（非）实例级细粒度人物解析。目前，共承担/参与重点研发项目 3 项（排名第1/3/5）。在T-PAMI、IJCV、T-IP、NeurIPS、CVPR、IJCAI、ECCV、ACM MM、AAAI、BMVC、WACV等本领域权威国际期刊/会议上发表学术论文30余篇，单篇最高影响因子17.73。相关工作获得新加坡模式识别与机器智能协会PREMIA 2019 Lee Hwee Kuan奖（金奖）、国际多媒体领域顶级会议ACM MM 2018最佳学生论文奖；ICCV 2017 MS-Celeb-1M大规模人脸识别竞赛Hard Set/Random Set/Low-Shot Learning全部任务冠军；CVPR 2017 L.I.P竞赛人物解析与人物姿态估计全部任务亚军；美国国家标准与技术研究院NIST 2017 IJB-A无约束人脸识别竞赛人脸验证与人脸鉴别全部任务冠军。担任IJCV、T-MM、T-IFS、T-CSVT、Neurocomputing、NeurIPS（NeurIPS 2018前30%最佳审稿人）、CVPR、ICCV、ECCV、ACM MM、AAAI、ICLR、ICML、UAI等本领域主流国际期刊/会议的受邀审稿人。

个人主页：

https://zhaoj9014.github.io/