20220105-01 总第265期 标签噪声学习专题论坛

报告嘉宾：彭玺 (四川大学)

报告题目：噪声关联学习：一种新的噪声标注学习范式

报告嘉宾：冯磊 (重庆大学)

报告题目：噪声标记学习的鲁棒损失与算法框架

Panel嘉宾：

刘同亮 (悉尼大学)，刘扬 (UC Santa Cruz)，彭玺 (四川大学)，冯磊 (重庆大学)

Panel议题：

1. 目前标签噪声学习的三类方法 (基于神经网络的small loss特性、设计无偏的经验风险估计量、设计对噪声鲁棒的损失函数)各自的优劣是什么？

2. 较之于处理instance-independent label noise，处理instance-dependent label noise的难点究竟在哪？

3. 噪声率的估计对实施标签噪声学习的帮助有多大？目前有没有比较好的估计方法？

4. 目前有的研究指出，在训练中加入噪声有利于防止网络过拟合进而提升性能；也有一些研究指出标签噪声会误导训练过程使得网络分类性能下降。二者之间是否矛盾？如何辩证地看待这个问题？

5. 标签噪声学习是否需要对标签噪声进行建模。建模的优势和劣势都有哪些？

6. 标签噪声学习目前面临哪些新的挑战和机遇？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：彭玺 (四川大学)

报告时间：2022年1月5日 (星期三)晚上19:00 (北京时间)

报告题目：噪声关联学习：一种新的噪声标注学习范式

报告人简介：

彭玺，四川大学教授，博导，国家特聘青年教授。IEEE Trans on SMC: Systems等四个国际SCI期刊编委 (AE)；获教育部霍英东青年教师奖、ICME最佳论文奖、全国互联网＋指导老师等多个奖项；主持国家重点研发计划课题及自然基金委联合重点项目；主要研究方向包括表示学习及其在图像处理、多媒体计算及自然语言处理等领域中的应用，在JMLR，TPAMI，IJCV，NeurIPS，ICML等国际重要期刊和会议发表论文多篇。

个人主页：

http://pengxi.me/

报告摘要：

该报告将汇报一种新的噪声标签学习范式，即噪声关联学习 (Learning with Noisy Correspondence)。传统的噪声标签学习主要围绕分类任务展开，旨在消除训练样本的错误类别标签所来的负面影响。不同于标准的噪声标签学习，噪声关联学习旨在削弱甚至消除成对训练数据中的错误关联关系造成的影响，例如多模态训练数据中的图文不匹配，对话系统中的答非所问等。具体地，本次报告汇报的第一个工作发表于CVPR2021，其率先探索了对比学习中的假阴性 (False Negative)样本对问题，初步揭示了数据错配现象，并构造了一个鲁棒的损失函数，赋予对比学习对假阴性样本的鲁棒性。第二个工作以Oral形式发表在NeurIPS2021，其首次正式提出了噪声关联学习，通过基于神经网络记忆效应提出了一个新的错误关联修正方法，消除了错误关联对算法的负面影响，在跨模态匹配任务上得到了验证。

参考文献：

[1] Mouxing Yang, Yunfan Li, Zhenyu Huang, Zitao Liu, Peng Hu, Xi Peng*, Partially View-aligned Representation Learning with Noise-robust Contrastive Loss, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Jun. 19-25, 2021. Online.

[2] Zhenyu Huang, Guocheng Niu, Xiao Liu, Wenbiao Ding, Xinyan Xiao, Hua Wu, Xi Peng*, Learning with Noisy Correspondence for Cross-modal Matching, Neural Information Processing Systems (NeurIPS’21)

报告嘉宾：冯磊 (重庆大学)

报告时间：2022年1月5日 (星期三)晚上19:30 (北京时间)

报告题目：噪声标记学习的鲁棒损失与算法框架

报告人简介：

冯磊，重庆大学弘深青年学者、教授、博导。博士毕业于新加坡南洋理工大学 (Nanyang Technological University, Singapore)，在提前毕业的情况下，获得南洋理工大学计算机科学与工程学院杰出博士学位论文奖第二名 (NTU SCSE Outstanding PhD Thesis Award Runner-Up)。中国计算机学会 (CCF)会员，中国人工智能学会 (CAAI)会员，国际人工智能促进学会 (AAAI)会员，美国计算机学会 (ACM)会员，中国人工智能学会机器学习专委会通讯委员。担任IJCAI 2021与AAAI 2022高级程序委员会委员 (senior program committee member)，ICML 2021 专家审稿人 (expert reviewer)，以及其他国际顶级 (CCF A类)会议 (包括NeurIPS、KDD、CVPR、ICCV、AAAI)的程序委员会委员/审稿人，并受邀担任多个国际顶级期刊 包括 (JMLR、TPAMI、TIP、TNNLS、MLJ)审稿人。主要研究方向为机器学习、数据挖掘、人工智能。已在 ICML，NeurIPS, KDD, CVPR, ICCV, AAAI, IJCAI 等国际顶级 (CCF A类)会议与中科院一区期刊上发表论文二十余篇。

个人主页：

https://lfeng-ntu.github.io/

报告摘要：

噪声标记学习是一个非常重要的弱监督学习问题。由于深度神经网络容易过拟合噪声标记，从带有噪声标记的训练集中由常用的交叉熵损失函数所训练的深度模型往往会效果不佳。在最近的研究进展中，基于样本选择和半监督学习模型的方法吸引了大量研究者的关注并取得了最先进的性能。在本次报告中，我们将介绍如何设计鲁棒的损失使得深度模型有能力抵抗噪声标记，介绍一种能够鲁棒地训练深度模型的算法，并展示一种以端到端方式结合了样本选择与半监督学习模型的通用算法框架来抵抗训练集中噪声标记的负面影响。

参考文献：

[1] Lei Feng, Senlin Shu, Zhuoyi Lin, Fengmao Lv, Li Li, Bo An. Can Cross Entropy Loss Be Robust to Label Noise? Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI'20), pp.2206-2212, 2020.

[2] Hongxin Wei, Lei Feng*, Xiangyu Chen, Bo An. Combating Noisy Labels by Agreement: A Joint Training Method with Co-Regularization. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR'20), pp.13726-13735, 2020.

[3] Zhuowei Wang, Jing Jiang, Bo Han, Lei Feng*, Bo An, Gang Niu, Guodong Long. SemiNLL: A Framework of Noisy-Label Learning by Semi-Supervised Learning. ArXiv: 2012.00925.

Panel嘉宾：刘同亮 (悉尼大学)

嘉宾简介：

Tongliang Liu (Senior Member, IEEE) is currently a Lecturer with School of Computer Science at the University of Sydney. He is heading the Trustworthy Machine Learning Laboratory and is also a Visiting Scientist at RIKEN AIP. He is broadly interested in the fields of trustworthy machine learning and its interdisciplinary applications, with a particular emphasis on learning with noisy labels, adversarial learning, transfer learning, unsupervised learning, and statistical deep learning theory. He has authored and co-authored more than 80 research articles including ICML, NeurIPS, ICLR, CVPR, ICCV, ECCV, AAAI, IJCAI, KDD, ICME, IEEE T-PAMI, T-NNLS, and T-IP, with best paper awards, e.g., the 2019 ICME Best Paper Award and the PacificVis 2021 Best VisNotes Paper Award. He is/was a (senior-) meta reviewer for many conferences, such as NeurIPS, ICLR, UAI, AAAI, and IJCAI. He is a recipient of Discovery Early Career Researcher Award (DECRA) from Australian Research Council (ARC); the Cardiovascular Initiative Catalyst Award by the Cardiovascular Initiative; and was named in the Early Achievers Leaderboard of Engineering and Computer Science by The Australian in 2020.

个人主页：

https://tongliang-liu.github.io/

Panel嘉宾：刘扬 (UC Santa Cruz)

嘉宾简介：

Yang Liu is currently an Assistant Professor of Computer Science and Engineering at UC Santa Cruz. He was previously a postdoctoral fellow at Harvard University. He obtained his PhD degree from the Department of EECS, University of Michigan, Ann Arbor in 2015. He is interested in crowdsourcing and algorithmic fairness, both in the context of machine learning. His works have seen applications in high-profile projects, such as the Hybrid Forecasting Competition organized by IARPA, and Systematizing Confidence in Open Research and Evidence (SCORE) organized by DARPA. His works have also been covered by WIRED and WSJ. His works have won three best paper awards.

个人主页：

http://www.yliuu.com/

主持人：宫辰 (南京理工大学)

主持人简介：

宫辰，现任南京理工大学计算机科学与工程学院教授、博导，获得上海交通大学、悉尼科技大学双博士学位，研究方向为弱监督机器学习。已在世界主流期刊或会议上发表80余篇学术论文，主要包括IEEE T-PAMI、IEEE T-NNLS、IEEE T-IP、ICML、NeurIPS, CVPR, AAAI, IJCAI等。目前担任AIJ、JMLR、IJCV、IEEE T-PAMI、IEEE T-NNLS、IEEE T-IP、IEEE T-KDE等多家国际权威期刊审稿人，并受邀担任ICML、NeurIPS、ICLR、IJCAI、AAAI、ICDM等多个国际会议的PC/SPC member。曾获中国人工智能学会“优秀博士学位论文”奖、中国科协“青年人才托举工程”、吴文俊人工智能优秀青年奖等。

个人主页：

https://gcatnjust.github.io/ChenGong/index.html

特别鸣谢本次Webinar主要组织者：

主办AC：宫辰 (南京理工大学)

 彭玺 [slide]

 冯磊 [slide]