20210811-21 总第248期 知其所以然：因果推理与学习

报告嘉宾：张含望 (南洋理工大学)

报告题目：真正的无偏模型

报告嘉宾：崔鹏 (清华大学)

报告题目：因果启发的稳定学习

Panel嘉宾：

张含望 (南洋理工大学)、崔鹏 (清华大学)、宫明明 (墨尔本大学)、朱胜宇 (华为诺亚方舟实验室)

Panel议题：

1. 因果推理在提高模型的泛化性（如OOD、domain adaptation）方面具有哪些优势？

2. 如何评估模型是否具备因果推理的能力？现有数据集能否满足需求？

3. 在监督学习、弱监督学习、自监督学习、强化学习等机器学习任务中，因果学习的应用前景如何？机器学习又如何助力因果推理？

4. 因果关系与可解释性的关系是什么？能否通过因果学习实现可解释性？

5. 工业界对因果推理与学习有哪些需求与期望？因果推理与学习在工业界的落地情况如何？

6. 因果推理与学习的未来展望？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：张含望 (南洋理工大学)

报告时间：2021年08月11日 (星期三)晚上20:00 (北京时间)

报告题目：真正的无偏模型

报告人简介：

张含望，新加坡南洋理工“南洋”荣誉助理教授。他于2009年在浙江大学取得学士学位，并在2014年在新加坡国立大学取得了博士学位，之后在新加坡国立大学和美国哥伦比亚大学从事研究工作。张博士的主要研究领域是多模态当中的计算机视觉和机器推理。张博士曾经获得ACM MM 2013的最佳学生论文，ACM SIGIR 2016的最佳论文提名奖，以及TOMM 2018和IEEE TMM 2020的最佳论文, IEEE AI’s 10 to watch。其团队获得Visual Dialog Challenge 2018,2020亚军以及2019冠军。

个人主页：

https://mreallab.github.io

报告摘要：

任何数据集都有偏见，因为数据的采集会受到人为的干预以及自然界中本身的不平均。所以，基于此数据集训练的机器学习模型必然会带有偏见，从而限制了模型的普适场景。当然，我们有非常多的“去偏见”技术，让模型去除数据集的偏差，从而让模型“照顾”数据集中的少数派。不过，这种“照顾”本身也是一种偏见，往往导致顾此失彼。在该报告中，我会介绍一种“鱼和熊掌兼得”的真正的无偏模型，从而达到真正的普适。该模型的设计不但简单巧妙，而且有着扎实的理论背景。

参考文献：

[1] Kaihua Tang, Jianqiang Huang, Hanwang Zhang. Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect. NeurIPS 2020.

[2] Yulei Niu, Kaihua Tang, Hanwang Zhang, Zhiwu Lu, Xian-Sheng Hua, Ji-Rong Wen. Counterfactual VQA: A Cause-Effect Look at Language Bias. CVPR 2021.

[3] Kaihua Tang, Yulei Niu, Jianqiang Huang, Jiaxin Shi, Hanwang Zhang. Unbiased Scene Graph Generation from Biased Training. CVPR 2020.

[4] Zhongqi Yue, Tan Wang, Hanwang Zhang, Qianru Sun, Xian-Sheng Hua. Counterfactual Zero-Shot and Open-Set Visual Recognition. CVPR 2021.

[5] Zhongqi Yue, Qianru Sun, Xian-Sheng Hua, Hanwang Zhang. Transporting Causal Mechanisms for Unsupervised Domain Adaptation. ICCV 2021.

报告嘉宾：崔鹏 (清华大学)

报告时间：2021年08月11日 (星期三)晚上20:30 (北京时间)

报告题目：因果启发的稳定学习

报告人简介：

崔鹏，清华大学计算机系长聘副教授，博士生导师。研究兴趣聚焦于大数据驱动的因果推理和稳定预测、大规模网络表征学习等。在数据挖掘及人工智能领域顶级国际会议发表论文100余篇，先后5次获得顶级国际会议或期刊论文奖，并先后两次入选数据挖掘领域顶级国际会议KDD最佳论文专刊。担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际顶级期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、电子学会自然科学一等奖、北京市科技进步一等奖、中国计算机学会青年科学家奖、国际计算机协会（ACM）杰出科学家。

个人主页：

http://pengcui.thumedialab.com

报告摘要：

近年来人工智能技术的发展，在诸多垂直领域取得了性能突破。但当我们将这些技术应用于医疗、司法、工业生产等风险敏感领域时，发现当前人工智能在稳定性、可解释性、公平性、可回溯性等“四性”方面存在严重缺陷。究其深层次原因，当前统计机器学习的基础——关联统计自身不稳定、不可解释、不公平、不可回溯可能是问题的根源。相对于关联统计，因果统计在保证“四性”方面具有更好的理论基础。但如何将因果统计融入机器学习框架，是一个开放并有挑战的基础性问题。本报告中，讲者将重点介绍将因果推理引入预测性问题所提出的稳定学习理论和方法，及其在解决OOD泛化问题方面的机会和挑战。

参考文献：

[1] Jiashuo Liu, Zheyuan Hu, Peng Cui, Bo Li, Zheyan Shen. Heterogeneous Risk Minimization. ICML, 2021.

[2] Xingxuan Zhang, Peng Cui, Renzhe Xu, Linjun Zhou, Yue He, Zheyan Shen. Deep Stable Learning for Out-Of-Distribution Generalization. CVPR, 2021

[3] Jiashuo Liu, Zheyan Shen, Peng Cui, Linjun Zhou, Kun Kuang, Bo Li, Yishi Lin. Stable Adversarial Learning under Distributional Shifts. AAAI, 2021.

[4] Hao Zou, Peng Cui, Bo Li, Zheyan Shen, Jianxin Ma, Hongxia Yang, Yue He. Counterfactual Prediction for Bundle Treatments. NeurIPS, 2020.

[5] Zheyean Shen, Peng Cui, Jiashuo Liu, Tong Zhang, Bo Li and Zhitang Chen. Stable Learning via Differentiated Variable Decorrelation. KDD, 2020.

[6] Yue He, Zheyan Shen, Peng Cui. Towards Non-I.I.D. Image Classification: A Dataset and Baselines. Pattern Recognition, 2020.

[7] Zheyan Shen, Peng Cui, Tong Zhang. Stable Learning via Sample Reweighting. AAAI, 2020.

[8] Kun Kuang, Ruoxuan Xiong, Peng Cui, Susan Athey, Bo Li. Stable Prediction with Model Misspecification and Agnostic Distribution Shift. AAAI, 2020.

[9] Kun Kuang, Peng Cui, Susan Athey, Ruoxuan Li, Bo Li. Stable Prediction across Unknown Environments. KDD, 2018.

[10] Zheyan Shen, Peng Cui, Kun Kuang, Bo Li. Causally Regularized Learning on Data with Agnostic Bias. ACM Multimedia, 2018.

Panel嘉宾：宫明明 (墨尔本大学)

嘉宾简介：

宫明明博士于2019年作为助理教授加入墨尔本大学数学与统计系，并附属于墨尔本数据科学研究中心。他对因果推理与机器学习有广泛的兴趣。他目前的研究课题包括因果图学习、因果启发式迁移学习、生成式学习、可解释学习等。在应用方面，他的兴趣主要集中在计算机视觉、生物信息等领域。他在机器学习顶级会议与期刊发表了四十多篇学术论文。他于2020年获得了澳大利亚研究委员会的“早期职业研究者奖（DECRA）”，并被选为IJCAI2020的“早期职业焦点演讲”演讲者。他担任机器学习顶会NeurIPS，ICLR的领域主席，以及IJCAI，AAAI的高级程序委员。

个人主页：

https://mingming-gong.github.io/

Panel嘉宾：朱胜宇 (华为诺亚方舟实验室)

嘉宾简介：

朱胜宇，华为诺亚方舟实验室高级研究员，博士毕业于Syracuse University，获得 All University Doctoral Prize。博士期间研究方向为信息论和统计信号处理，目前主要研究兴趣为因果和机器学习。发表多篇一作顶级期刊/会议文章，包括IEEE Trans. Information Theory、IEEE Trans. Signal Processing、ICLR、AISTATS、ISIT等，其中一项工作获得ICLR 2020满分评价，并选为口头报告。曾获华为2012实验室中央研究院创新先锋一等奖。

个人主页：

https://zhushy.github.io/

主持人：牛玉磊 (南洋理工大学)

主持人简介：

牛玉磊，南洋理工大学博士后研究员。2015年和2020年于中国人民大学获得学士与博士学位。主要研究兴趣为因果推理、视觉与语言等。担任IJCAI 2021高级程序委员。曾获CVPR 2019视觉对话挑战赛冠军，ICLR 2021杰出审稿人，入选CVPR 2020 Doctoral Consortium。

个人主页：

https://yuleiniu.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：牛玉磊 (南洋理工大学)

协办AC：宫明明 (墨尔本大学)