VALSE Student Webinar 20201216-03 视觉智能模型的抗攻击性

报告嘉宾：庞天宇（清华大学）

报告题目：对抗鲁棒性模型设计

报告嘉宾：杨幻睿（杜克大学）

报告题目：DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles

报告嘉宾：白家旺（清华大学）

报告题目：Targeted Attack for Deep Hashing based Retrieval

Panel嘉宾：

庞天宇 (清华大学)、杨幻睿 (杜克大学)、白家旺 (清华大学)、操晓春 (中科院信息工程研究所)、Bo Li (UIUC)、刘祥龙 (北京航空航天大学)、黄晓霖 (上海交通大学)

Panel议题：

1. 针对视觉智能模型的对抗鲁棒性研究是当前学术界的一个研究热点，已经有很多的成果涌现，该方向具体包括哪些子方向，这些子方向有哪些主流的研究范式？

2. 视觉智能模型的对抗鲁棒性目前在数字空间研究的比较多，在物理环境下的对抗攻防目前发展到了什么程度，该研究方向怎样落地，怎样和产业界的实际问题相结合？

3. 对抗鲁棒性和模型可解释性的关系是什么，这两者怎么结合并相互促进，当前是否有代表性的工作或者研究范式？

4. 对抗噪声本身具有哪些特性，比如其概率分布、可迁移性等，当前是否有比较有代表性的工作？

5. 除了最常研究的监督学习，针对其他学习范式的对抗鲁棒性研究有哪些，比如无监督学习、元学习、联邦学习等？

6. 对抗鲁棒性有哪些有益的用处？

7. 对抗鲁棒性还有哪些问题没有解决，下一步的发展方向是什么？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：庞天宇 (清华大学)

报告时间：2020年12月16日 (星期三)晚上20:00 (北京时间)

报告题目：对抗鲁棒性模型设计

报告人简介：

庞天宇，清华大学计算机系人智所直博四年级，导师朱军教授。研究方向为机器学习，特别是深度学习以及其鲁棒性的研究。已发表13篇清华A类论文，其中以第一作者（含共同一作）身份在机器学习顶级会议ICML，NeurIPS，ICLR上发表7篇文章，并被多次选为Oral或Spotlight。所做工作在相关领域取得了一定的关注与认可，发表的论文至今获得了超过1300次引用。参与的团队在包括NIPS 2017以及GeekPwn 2018在内的多个对抗攻防竞赛中均获得第一名。此外多次担任ICML，NeurIPS，ICLR，CVPR，ICCV，ECCV，TPAMI等顶级国际会议和期刊的审稿人。荣获2020年微软学者奖学金（亚太地区仅12人），钟士模奖学金（计算机系最高荣誉），英伟达学术先锋奖，研究生国家奖学金，84创新奖学金等等。

报告摘要：

本次主要分享我们在对抗鲁棒性方面的几个工作，包括最大化马氏距离学习，该类方法的相关研究分为两个部分，第一部分中我们设计了新的模型结构，使得所学特征具有最优的类间边距（ICML 2018），之后我们进一步提出了中心化的损失函数，可以使得训练变得更加稳定且样本高效化，鼓励样本间的相互作用，充分利用有限的训练数据（ICLR 2020）。我还将介绍集成多样性学习（ICML 2019）提高多个模型的集成模型的分类鲁棒性，以及反交叉熵训练方法帮助对抗样本检测器更好地区分正常样本与对抗样本（NeurIPS 2018）。

参考文献：

[1] Tianyu Pang, Chao Du, and Jun Zhu, "Max-Mahalanobis Linear Discriminant Analysis Network" in International Conference on Machine Learning (ICML), Stockholm, Sweden, 2018.

[2] Tianyu Pang, Chao Du, Yinpeng Dong, and Jun Zhu, "Towards Robust Detection of Adversarial Examples" in Annual Conference on Neural Information Processing Systems (NeurIPS), Montreal, Canada, 2018.

[3] Tianyu Pang, Kun Xu, Chao Du, Ning Chen and Jun Zhu, "Improving Adversarial Robustness via Promoting Ensemble Diversity" in International Conference on Machine Learning (ICML), Long Beach, USA, 2019.

[4] Tianyu Pang, Kun Xu, Yinpeng Dong, Chao Du, Ning Chen and Jun Zhu, "Rethinking Softmax Cross-Entropy Loss for Adversarial Robustness" in International Conference on Learning Representations (ICLR), Addis Ababa, Ethiopia, 2020.

报告嘉宾：杨幻睿 (杜克大学)

报告时间：2020年12月16日 (星期三)晚上20:20 (北京时间)

报告题目：DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles

报告人简介：

杨幻睿，本科毕业于清华大学电子工程系，目前是美国杜克大学电子与计算机工程系博士四年级在读学生，师从李海老师和陈怡然老师。杨幻睿的主要研究方向为利用稀疏、量化等方式压缩神经网络模型提升运行效率，以及评估并增强深度学习模型的鲁棒性，以期得到即高效又鲁棒的适用于部署在现实世界中的深度学习模型。在主要研究方向之外，杨幻睿也参与了分布式学习、隐私保护、深度学习加速器体系结构设计等工作。其参与的TIPRDC隐私保护框架被选为KDD2020 best student paper，一作撰写的论文DVERGE入选NeurIPS 2020 Oral presentation。

报告摘要：

Recent research finds CNN models for image classification demonstrate overlapped adversarial vulnerabilities: adversarial attacks can mislead CNN models with small perturbations, which can effectively transfer between different models trained on the same dataset. We propose DVERGE, which isolates the adversarial vulnerability in each sub-model by distilling non-robust features, and diversifies the adversarial vulnerability to induce diverse outputs against a transfer attack. The novel diversity metric and training procedure enables DVERGE to achieve higher robustness against transfer attacks comparing to previous ensemble methods, and enables the improved robustness when more sub-models are added to the ensemble.

参考文献：

[1] Huanrui Yang, Jingyang Zhang, Hongliang Dong, Nathan Inkawhich, Andrew Gardner, Andrew Touchet, Wesley Wilkes, Heath Berry, and Hai Li, "DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles" in Advances in Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 2020.

报告嘉宾：白家旺 (清华大学)

报告时间：2020年12月16日 (星期三)晚上20:40 (北京时间)

报告题目：Targeted Attack for Deep Hashing based Retrieval

报告人简介：

白家旺，清华大学深圳国际研究生院直博二年级学生，导师为夏树涛教授。主要研究方向为深度学习及相关应用的安全性，包括对抗攻击和模型参数攻击下的安全性、数据的保护和隐私安全性，发现并缓解深度学习的数据、训练、部署和推断中的安全性问题。当前主要聚焦于深度近似最近邻检索模型（哈希、乘积量化等）的对抗攻击与防御、针对模型参数的比特级的攻击与防御以及利用后门攻击的特性保护数据集的研究工作。他的一作论文针对深度哈希模型设计的攻击算法被ECCV 2020录用为Oral。

报告摘要：

The deep hashing based retrieval method is widely adopted in large-scale image and video retrieval. However, there is little investigation on its security. We propose the deep hashing targeted attack (DHTA), to study the targeted attack on such retrieval. Specifically, we first formulate the targeted attack as a point-to-set optimization and then design a novel component-voting scheme to obtain an anchor code as the representative of the set of hash codes of objects with the target label. The adversarial query is obtained by minimizing the Hamming distance between the hash code of the adversarial example and the anchor code. Our experiments verify that DHTA is effective in attacking both deep hashing based image and video retrieval.

参考文献：

[1] Jiawang Bai, Bin Chen, Yiming Li, Dongxian Wu, Weiwei Guo, Shu-tao Xia, En-hui Yang, " Targeted Attack for Deep Hashing based Retrieval," in Proc. of European Conference on Computer Vision. Online, 2020.

Panel嘉宾：操晓春 (中国科学院信息工程研究所)

嘉宾简介：

操晓春，中国科学院信息工程研究所研究员，主要从事计算机视觉基础研究和网络空间内容安全应用研究；获得国家自然科学基金委杰出青年基金、优秀青年基金资助、入选国家“万人计划”青年拔尖人才支持计划、中国科学院“百人计划”择优支持（结题优秀）；兼任IEEE TIP、IEEE TMM、IEEE TCSVT的编委(SAE或AE)、ICCV/CVPR/IJCAI/ICPR Area Chairs、英国工程技术学会(IET) Fellow、中国计算机学会杰出会员、中国电子学会青年科学家俱乐部会员；指导博士生获得CCF优博论文和中科院优博论文各1篇；获得省部级一等奖和二等奖各1项。

个人主页：

https://xiaochun-cas.github.io/

Panel嘉宾：Bo Li (UIUC)

嘉宾简介：

Dr. Bo Li is an assistant professor in the department of Computer Science at University of Illinois at Urbana–Champaign, and the recipient of the Symantec Research Labs Fellowship, Rising Stars, MIT Technology Review TR-35 award, Intel Rising Star award, Amazon Research Award, and best paper awards in several machine learning and security conferences. Previously she was a postdoctoral researcher in UC Berkeley. Her research focuses on both theoretical and practical aspects of security, machine learning, privacy, game theory, and adversarial machine learning. She has designed several robust learning algorithms, scalable frameworks for achieving robustness for a range of learning methods, and a privacy preserving data publishing system. Her works have been featured by major publications and media outlets such as Nature, Wired, Fortune, and New York Times.

个人主页：

http://boli.cs.illinois.edu/

Panel嘉宾：刘祥龙 (北京航空航天大学)

嘉宾简介：

刘祥龙，北京航空航天大学计算机学院副教授，博士生导师，主要研究大数据检索、大规模视觉分析、可信赖深度学习。近年来，主持国家自然科学基金、国防科技创新重点项目、科技创新2030重大项目等多项国家课题；发表IEEE CVPR、ICCV等国际顶级会议及期刊论文60余篇。担任Pattern Recognition、IET Image Processing等SCI期刊编委，ACM MM 2019/2020领域主席，国家新一代人工智能产业创新联盟启智开源开放平台技术委员会委员。获国家优秀青年科学基金、陕西省自然科学一等奖、北京市科技新星、中国计算机学会优秀博士学位论文等。

个人主页：

http://sites.nlsde.buaa.edu.cn/~xlliu/

Panel嘉宾：黄晓霖 (上海交通大学)

嘉宾简介：

黄晓霖，2006年在西安交通大学获工学和理学学士学位，2012年在清华大学获工学博士学位。2012年至2015年在比利时鲁汶大学（KU Leuven）电子工程系任博士后。2015年4月起作为洪堡学者在德国埃尔兰根-纽伦堡大学（Friedrich-Alexander Universität Erlangen-Nürnberg）计算机系任研究组组长。2016年加入上海交通大学自动化系任副教授、博士生导师；2018年起任自动化系副系主任/党总支副书记。目前为IEEE Senior Member；上海市图象图形学学会理事、模式识别专委会副主任；上海市自动化学会理事。主要研究方向为非正定核学习及与对抗攻击相关的稳定性研究；已在Journal of Machine Learning Research, IEEE Transactions on Pattern Analysis and Machine Intelligence, ACM Transactions on Graphics, Applied and Computational Harmonic Analysis 以及IEEE TIP, IEEE TNNLS, IEEE TMM, IEEE TMI, Automatica, SIAM. J. Opt.等国际重要学术期刊和会议上发表论文四十余篇。

个人主页：

http://www.pami.sjtu.edu.cn/xiaolin

主持人：韦星星 (北京航空航天大学)

主持人简介：

韦星星，北航人工智能研究院副教授。2017年至2019年在清华大学人工智能研究院/计算机系从事博士后研究（张钹朱军组）。先后于北京航天航空大学和天津大学获得学士及博士学位，曾在阿里巴巴任计算机视觉资深算法工程师。主要研究方向为对抗机器学习理论及其应用，计算机视觉等，先后在CVPR，ECCV，IJCAI，AAAI，ACMMM和TCYB，TMM，TGRS等人工智能领域顶级会议和期刊发表学术论文30余篇。与团队一起获得在世界黑客大会上举办的对抗样本国际测评赛CAAD CTF冠军。多次受邀担任人工智能领域顶级国际会议的程序委员会委员。作为项目负责人，受到“新一代人工智能”2030重大项目课题、国家自然科学基金面上项目、青年项目、中国博士后基金特别资助项目、博士后基金面上项目、CCF-腾讯犀牛鸟基金等多个国家级和省部级项目资助。

个人主页：

https://sites.google.com/site/xingxingwei1988/

主持人：吴保元 (香港中文大学深圳)

主持人简介：

吴保元，博士现为香港中文大学（深圳）数据科学学院副教授，并担任深圳市大数据研究院大数据安全计算实验室主任。其于2014年博士毕业于中科院自动化研究所，师从胡包钢研究员；2014年8月至2016年11月在沙特阿卜杜拉国王科技大学任博士后；2016年11月至2020年8月在腾讯AI Lab先后担任高级和专家研究员。其研究方向包括人工智能安全与隐私、机器学习、计算机视觉和最优化，在人工智能领域顶级会议和期刊上发表论文40余篇，包括TPAMI, IJCV, CVPR, ICCV, ECCV, AAAI等，并担任AAAI 2021, IJCAI 2020/2021高级程序委员。其关于视觉关系检测的研究曾入选CVPR 2019最佳论文候选名单。在腾讯工作期间，其领衔发布了业内首个"AI安全的威胁风险矩阵"，从攻击者角度对AI系统全生命周期潜在的安全风险进行了系统梳理，得到媒体的广泛关注。作为项目负责人，其研究受到国家自然科学基金面上项目资助。

个人主页：

https://sites.google.com/site/baoyuanwu2015/

20-03期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号 (valse_wechat)，后台回复“03期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：韦星星 (北京航空航天大学)

责任SAC：刘偲 (北京航空航天大学)