20200923-24 视觉生成与合成——无中生有，移花接木

报告嘉宾：胡一博 (京东AI研究院)

报告题目：Dual Variational Generation for Data-Limited Face Analysis

报告嘉宾：周博磊 (香港中文大学)

报告题目：Latent Semantics in Deep Generative Models (探寻生成模型中的可解释性语义)

Panel嘉宾：

胡一博 (京东AI研究院)、周博磊 (香港中文大学)、赫然 (中国科学院自动化研究所)、刘小明 (Michigan State University)

Panel议题：

1. 视觉生成经历了从低质到高质、从低分到高分、从黑盒子到语义可解释的发展，生成的图像或视频也越来越逼真了，那么当前视觉生成所面临的主要困难是什么？未来那些方面值得进一步去探索？此外，近年来比较热门的可解释生成是否能为神经网络的可解释性研究带来新的思路？

2. 当前计算机视觉各个领域的研究如火如荼，但能应用落地的技术却少之又少，视觉生成与合成是否已经有成功应用落地的场景？它对工业界的价值是什么？未来有又有哪些潜在的应用场景？

3. 为了生成高质量、高分辨率、以假乱真的视觉数据，生成式模型也愈发的复杂，计算量的增加使得模型训练和推理需要更多的资源和时间开销，这势必会影响模型的部署和应用，目前生成式模型的压缩与加速方面进展如何？是否已经可以部署应用到低功耗设备上？网络架构搜索技术在生成式模型轻量化方面是否会有所帮助？

4. 最近网上流传着大量deepfake换脸、AI伪造的视频，如何看待这项技术可能带来的安全隐私问题？是否可能在未来的某一天出于对安全性的考量使得社区停止这项技术的研究？

5. 如何看待视觉生成论文中存在的cherry pick现象？以及对比实验时展示的对比方法效果与其原始论文中相差巨大的现象？除了可视化对比外是否有比较公平准确的定量化对比指标？是否有统一的benchmark？

6. 最后，视觉生成领域方向众多，每年论文的数量也非常的多，质量也参差不齐，对于新入门的同学往往感到无从下手，各位老师对于初学者有什么建议吗？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：胡一博 (京东AI研究院)

报告时间：2020年09月23日(星期三)晚上20:00(北京时间)

报告题目：Dual Variational Generation for Data-Limited Face Analysis

报告人简介：

胡一博，毕业于中科院自动化研究所，现为京东AI研究院研究员。其主要研究方向为人脸分析与合成、知识蒸馏和网络架构搜索，在IJCV、IEEE TIFS、CVPR、ICCV、ECCV、NeurIPS等国际期刊和会议上发表15篇学术论文。

个人主页：

https://aberhu.github.io/

报告摘要：

Recently, deep generative models have been developed rapidly and the generated visual data, especially the structural face image, has become more and more realistic. Thus, it is valuable to explore how to mine effective information and learn potential knowledge from the generated data. In this talk, I will introduce our Dual Variational Generation (DVG) framework, a variant of VAE, to model the joint distribution of two modalities, and its applications in data-limited face analysis.

参考文献：

[1] Dual Variational Generation for Low Shot Heterogeneous Face Recognition. Chaoyou Fu, Xiang Wu, Yibo Hu, Huaibo Huang and Ran He. NeurIPS, 2019.

[2] DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition. Chaoyou Fu, Xiang Wu, Yibo Hu, Huaibo Huang and Ran He.

[3] Dual-Structure Disentangling Variational Generation for Data-Limited Face Parsing. Peipei Li, Yinglu Liu, Hailin Shi, Xiang Wu, Yibo Hu, Ran He and Zhenan Sun. ACM MM, 2020.

报告嘉宾：周博磊 (香港中文大学)

报告时间：2020年09月23日(星期三)晚上20:30(北京时间)

报告题目：Latent Semantics in Deep Generative Models (探寻生成模型中的可解释性语义)

报告人简介：

周博磊为香港中文大学信息工程系助理教授。其研究方向为机器感知和智能决策。博士毕业于麻省理工学院，在人工智能顶级会议和期刊发表五十余篇学术论文，论文总引用数超过一万次，其中两篇一作论文已获得单篇引用超两千次的影响力，在可解释性机器学习和场景理解等课题上有突出成果。

个人主页：

http://bzhou.ie.cuhk.edu.hk/

报告摘要：

Recent progress in deep generative models such as Generative Adversarial Networks (GANs) and Variational Autoencoders (VAEs) has enabled synthesizing photo-realistic images, such as faces and scenes. However, it remains much less explored on what has been learned inside the deep representations learned from synthesizing images. In this talk, I will present some of our recent progress in interpreting the semantics in the latent space of the GANs, as well as reversing real images back into the latent space. Identifying these semantics not only allows us to better understand the internal mechanism in generative models, but also facilitates versatile real image editing applications.

参考文献：

https://genforce.github.io/

Panel嘉宾：赫然 (中国科学院自动化研究所)

嘉宾简介：

赫然，博士，中科院自动化所模式识别国家重点实验室研究员，中科院脑科学与智能技术卓越创新中心年轻骨干，中国科学院大学岗位教授。任中国科学院大学人工智能学院人工智能基础教研室主任，IAPR Fellow。从事模式识别应用基础理论研究，并应用到生物特征识别、底层计算机视觉和智能视频监控，获得视频生成竞赛冠军，在华为Mate 30手机等取得应用 (华为三年资助800余万)；近期主要聚焦在非监督学习以及图像生成中遇到的瓶颈问题。出版信息理论学习专著1部；在IEEE TPAMI (影响因子: 17.86)第一作者发表论文5篇，研究工作获得国家自然科学基金优秀青年科学基金、北京自然科学基金杰出青年科学基金和中科院青年促进会优秀会员等项目资助。受邀参加70 周年国庆阅兵观礼 (2019)、中央电视台科教频道《透视新科技》科普栏目 (2020)。

个人主页：

https://rhe-web.github.io/

Panel嘉宾：刘小明 (Michigan State University)

嘉宾简介：

刘小明博士是密歇根州立大学 (MSU)计算机科学和工程系教授。他于2004年从卡耐基梅隆大学获得博士学位，2004至2012年在通用电气全球研究中心担任研究科学家。他的研究领域涉及计算机视觉，机器学习和生物识别，尤其是人脸和三维视觉相关的问题。他曾获得MSU 2018 Withrow Distinguished Scholar Award。他担任多次计算机视觉和机器学习顶会 (CVPR，ICCV，ECCV，ICLR， NeurIPS)的领域主席，BTAS 2018, WACV 2018, AVSS 2022的程序委员会主席，和FG 2023的会议主席。他是Pattern Recognition Letters，Pattern Recognition Journal, IEEE Transactions on Image Processing的副主编。他是国际模式识别协会会士 (IAPR Fellow)。

个人主页：

http://cvlab.cse.msu.edu

主持人：赵健 (北方电子设备研究所)

主持人简介：

赵健，2012年获得北京航空航天大学学士学位，2014年获得国防科技大学硕士学位，博士就读于新加坡国立大学电子与计算机工程系，师从新加坡国立大学冯佳时教授和新加坡工程院院士、IEEE/IAPR Fellow颜水成教授，2019年获得博士学位并回国参加工作，现为北方电子设备研究所助理研究员，视觉与学习青年学者研讨会VALSE执行领域主席、中国图象图形学学会视觉大数据专业委员会CSIG-BVD委员。主要研究领域为人工智能、深度学习、模式识别、计算机视觉与多媒体分析。目前，共主持/参与创新特区项目4项 (排名第1/1/3/5)，国家自然科学基金青年科学基金项目1项。近5年发表高水平学术论文40余篇，单篇影响因子最高17.73，其中，以第一作者发表CCF A类论文10篇 (含2篇T-PAMI、2篇IJCV)、CCF B类论文2篇 (ECCV等)、CCF C类论文1篇 (BMVC等)。研究成果被包括图灵奖得主Yoshua Bengio和多位国内外院士、ACM/IEEE Fellow在内的权威学者引用。曾作为第一作者获得新加坡模式识别与机器智能协会PREMIA 2019 Lee Hwee Kuan奖 (金奖)、ACM MM 2018最佳学生论文奖、ICCV 2017 MS-Celeb-1M人脸识别竞赛Hard Set/Random Set/Low-Shot Learning全部任务全球冠军、CVPR 2017 L.I.P竞赛人物解析与人物姿态估计全部任务全球亚军、美国国家标准与技术研究院NIST 2017 IJB-A无约束人脸识别竞赛人脸验证与人脸鉴别全部任务全球冠军。担任T-PAMI、IJCV、T-MM、T-IFS、T-CSVT、Neurocomputing、NeurIPS (NeurIPS 2018前30%最佳审稿人)、CVPR、ICCV、ECCV、ACM MM、AAAI、ICLR、ICML、ACCV、UAI等本领域主流国际期刊/会议的受邀审稿人。曾组织VALSE Webinar 2020-06期Face-based Human Understanding: beyond Face Recognition、CVPR 2018 Look into Person Workshop and Multi-Human Parsing & Pose Estimation Challenge、CVPR 2020 Anti-UAV Workshop and Challenge、ECCV 2020中国预会议Session 8 Adversarial and Attack、ECCV 2020 RLQ Workshop and TOD Challenge。

个人主页：

https://zhaoj9014.github.io/

主持人：徐畅 (悉尼大学)

主持人简介：

徐畅，悉尼大学讲师 (助理教授)，澳大利亚研究委员会优秀青年基金获得者 (ARC DECRA)。主要关注机器学习算法及其在计算机视觉中的应用，如多视角学习、多标签学习、对抗机器学习、神经网络结构设计与搜索等。在人工智能领域重要国际会议和期刊发表论文80余篇，包括ICML、NIPS、CVPR、IJCAI、AAAI、IEEE T-PAMI和IEEE T-IP等。

个人主页：

http://changxu.xyz

20-24期VALSE在线学术报告参与方式：

扫描下方二维码，关注“VALSE”微信公众号 (valse_wechat)，后台回复“24期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：赵健 (北方电子设备研究所)

协办AC：徐畅 (悉尼大学)

责任AC：高盛华 (上海科技大学)