20200401-07 数据不完美，算法显神威——弱监督机器学习专题论坛 ... ... ...

报告时间：2020年04月01日（星期三）晚上19:00（北京时间）

主题：数据不完美，算法显神威——弱监督机器学习专题论坛

报告主持人：宫辰（南京理工大学）

报告嘉宾：刘同亮（悉尼大学）

报告题目：On the Anchor Points of Label-Noise Learning

报告嘉宾：宫明明（墨尔本大学）

报告题目：基于因果模型的领域迁移

Panel议题：

1. 弱监督学习和强监督学习相比，从学术研究的角度说，其根本难点和技术瓶颈在什么地方？

2. 虽然弱监督学习这个概念已经被提出很久了，但工业界仍很少使用，为了提升性能，工业界往往更倾向于直接增加更多的训练数据。因此，弱监督学习从研究到落地的鸿沟主要在哪？

3. 最近几年的弱监督学习算法大多致力于设计各种无偏或有偏的risk estimator。“无偏”和“有偏”各有什么好处和弊端？除了设计risk estimator，还有哪些大方向是值得进一步探寻的？

4. 深度学习是一种data hungry的方法，如果想弱化深度神经网络训练对数据质量的依赖，我们可以从哪些方面努力？

5. 对于弱监督学习，监督信息的强弱与算法性能的好坏在理论上是否存在精确或大致的函数关系？

6. 各类弱监督学习算法（比如半监督学习、标签噪声学习、多示例学习、迁移学习、PU学习、偏标记学习等），它们之间是否存在一定的联系？是否有可能在理论上构建统一的弱监督机器学习框架？

Panel嘉宾：

刘同亮（悉尼大学）、宫明明（墨尔本大学）、黄圣君（南京航空航天大学）、韩波（香港浸会大学）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：刘同亮（悉尼大学）

报告时间：2020年04月01日（星期三）晚上19:00（北京时间）

报告题目：On the Anchor Points of Label-Noise Learning

报告人简介：

Tongliang Liu is a Lecturer with the School of Computer Science at The University of Sydney. He received the BEng degree from the University of Science and Technology of China in 2012 and the PhD degree from the University of Technology   Sydney in 2016. He is currently also a core member in the UBTECH Sydney AI Centre at The University of Sydney. His research interests include statistical learning theory, machine learning, computer vision. He has authored and co-authored 60+ research papers including IEEE T-PAMI, T-NNLS, T-IP, ICML, NeurIPS, CVPR, ECCV, AAAI, IJCAI, KDD and ICME with best paper awards, e.g. the 2019 ICME Best Paper Award. He is a recipient of Discovery Early Career Researcher Award (DECRA) from Australian Research Council (ARC) and was shortlisted for the J G Russell Award Shortlisted by Australian  Academy of Science (AAS) in 2019. He regularly serves as SPC for AAAI and IJCAI.

个人主页：

https://tongliang-liu.github.io/

报告摘要：

Label noise widely exists in the era of big data. It will greatly degenerate the classification performance as deep neural networks will easily overfit label noise. There are generally two ways to deal with label noise. One is to extract confident examples by reducing the side effects of noisy data. Another one is to build statistically consistent classifiers by exploiting the transition relationship between clean and noisy data which is modeled by the transition matrix. In this talk, we will present how to estimate the transition matrix by investigating the concept of anchor points.

参考文献：

[1] Tongliang Liu and Dacheng Tao, "Classification with Noisy Labels by Importance Reweighting," in IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016.

[2] Xiaobo Xia, Tongliang Liu, Nannan Wang, Bo Han, Chen Gong, Gang Niu, Masashi Sugiyama, “Are Anchor Points Really Indispensabel in Label-Noise Learning,” in Proceeding Advances in Neural Information Processing Systems (NeurIPS 2019), Vancouver, CA, December 2019.

[3] Yu Yao, Tongliang Liu, Bo Han, Mingming Gong, Gang Niu, Masashi Sugiyama, and Dacheng Tao, “Towards Mixture Proportion Estimation without Irreducibility” in arxiv, 2020.

报告嘉宾：宫明明（墨尔本大学）

报告时间：2020年04月01日（星期三）晚上19:30（北京时间）

报告题目：基于因果模型的领域迁移

报告人简介：

宫明明（Mingming Gong）是墨尔本大学数学与统计学院的数据科学讲师（助理教授）。他的研究兴趣包括因果推理，机器学习和计算机视觉。他撰写并与他人合著了30余篇研究论文，包括NeurIPS，ICML，UAI，AISTATS，CVPR，ICCV，ECCV和AAAI。他担任美国自然科学基金会项目评审专家，国际人工智能会议AAAI和IJCAI高级程序委员，和十多个CCF A类会议和期刊的程序委员与审稿人。他研究兴趣集中在非标准环境下的机器学习（例如转移学习和弱监督学习）如何受益于数据背后的因果生成过程。他还研究了从观测数据推断因果模型的原理和方法。

个人主页：

https://mingming-gong.github.io/

报告摘要：

统计依赖性是当前智能学习系统的主要驱动力。通过学习到的依赖性，深度监督学习可以在固定环境中对新数据进行预测。但是，当前大多数学习系统无法应对数据生成环境的变化，因为深度预测网络对数据分布的变化极其敏感。在本次报告中，我将首先介绍因果模型在理解迁移学习中数据分布变化的重要作用。然后，我将展示如何基于因果模型构建更高效的领域迁移模型和算法，包括条件不变特征学习和目标域分布重构算法。

参考文献：

[1] Zhang, Kun, Gong, Mingming & Schölkopf, Bernhard 2015, ‘Multi-source domain adaptation: A causal view’, AAAI 2015.

[2] Gong, Mingming, Zhang, Kun, Liu, Tongliang, Tao, Dacheng, Glymour, Clark & Schölkopf, Bernhard 2016, ‘Domain Adaptation with Conditional Transferable Components’, ICML 2016.

[3] Gong, Mingming*, Kun Zhang*, Biwei Huang, Clark Glymour, Dacheng Tao, and Kayhan Batmanghelich. "Causal generative domain adaptation networks." arXiv preprint arXiv:1804.04333 (2018). (Equal contribution)

[4] Zhang, Kun*, Mingming Gong*, Petar Stojanov, Biwei Huang, and Clark Glymour. "Domain Adaptation As a Problem of Inference on Graphical Models." arXiv preprint arXiv:2002.03278 (2020). (Equal contribution)

Panel嘉宾：黄圣君（南京航空航天大学）

嘉宾简介：

黄圣君，博士，教授。分别于2008年和2014年从南京大学计算机科学与技术系获学士和博士学位。2014年6月加入南京航空航天大学计算机学院。主要研究方向为机器学习、数据挖掘，尤其关注主动学习和多标记学习。在相关领域重要国际期刊和会议发表论文三十余篇。曾入选中国科协“青年人才托举工程”，南京航空航天大学首届“长空学者”计划。获AAAI 2019 Outstanding PC Member Award、2018年江苏省计算机学会青年科技奖、2015年CCF优博等荣誉。

个人主页：

http://parnec.nuaa.edu.cn/huangsj/

Panel嘉宾：韩波（香港浸会大学）

嘉宾简介：

韩波，香港浸会大学计算机科学系助理教授，数据分析和人工智能实验室成员，日本国家级实验室理化研究所人工智能项目 （RIKEN AIP）访问科学家。主要研究方向为机器学习和深度学习。加入香港浸会大学前，在日本理化研究所人工智能项目从事博士后研究（Prof. Masashi Sugiyama杉山将教授团队）。其负责开发针对噪声数据（标签和样本）的鲁棒深度学习方法，成果荣获2019年度理研最佳成就奖（RIKEN BAIHO奖）。其分别于2014年在中国海洋大学，2019年在悉尼科技大学获得硕士（信号处理）和博士（计算机科学）学位。其作为程序委员会委员和审稿人长期服务机器学习顶级会议（ICML, NeurIPS, AISTATS和ICLR）和顶级期刊（JMLR, TPAMI和MLJ），并当选为NeurIPS’20的领域主席（Area Chair）。

个人主页：

https://bhanml.github.io/

主持人：宫辰（南京理工大学）

主持人简介：

宫辰，现任南京理工大学计算机科学与工程学院教授、博导，获得上海交通大学、悉尼科技大学双博士学位，研究方向为弱监督机器学习。已在世界主流期刊或会议上发表80余篇学术论文，主要包括IEEE T-PAMI、IEEE T-NNLS, IEEE T-IP, IEEE T-CYB, NeurIPS, CVPR, AAAI, IJCAI, ICDM等。目前担任AIJ、IEEE T-PAMI、IEEE T-NNLS、IEEE T-IP、IEEE T-KDE等20余家国际权威期刊审稿人，并受邀担任ICML、NeurIPS、IJCAI、AAAI、ICDM等多个国际会议的PC/SPC member。曾获中国人工智能学会“优秀博士学位论文”奖、中国科协“青年人才托举工程”、吴文俊人工智能优秀青年奖、江苏省“六大人才高峰”、江苏省“双创博士”等。

个人主页：

http://www.escience.cn/people/chengong/index.html

20-07期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“07期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：宫辰（南京理工大学）

协办AC：韩波（香港浸会大学）、刘同亮（悉尼大学）、宫明明（墨尔本大学）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE M群，群号：531846386）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺空间，请在爱奇艺关注Valse Webinar进行观看。