VALSE Webinar 24-29期 总第364期 视觉计算中的跨域和跨任务学习问题 ...

报告嘉宾：李伟宏 (香港中文大学)

报告题目：异构多任务学习：挑战与进展

报告嘉宾：赵知临 (澳大利亚麦考瑞大学)

报告题目：外分布机器学习理论与算法

报告嘉宾：李伟宏 (香港中文大学)

报告时间：2024年10月9日 (星期三)晚上20:00 (北京时间)

报告题目：异构多任务学习：挑战与进展

报告人简介：

李伟宏博士现为香港中文大学MMLab博士后研究员。曾于爱丁堡大学从事博士后研究，于2022年在英国爱丁堡大学获得博士学位，主要研究方向为机器学习与计算机视觉，具体包括多任务学习、多领域学习、跨领域小样本学习和三维建模。李博士多项研究成果发表计算机视觉的顶级会议和期刊（例如IJCV、CVPR、ICCV、ECCV等），以及机器学习顶级会议（例如NeurIPS、ICLR等），其中第一作者论文十余篇。曾多次在计算机视觉顶级会议上荣获口头报告（oral），其中在多任务学习方向上的工作曾荣获CVPR 2022最佳论文奖候选，并支撑李博士获得英国机器视觉协会（BMVA）博士论文奖银奖（The Sullivan Doctoral Thesis Prize Runner-Up，每年最多1位）。曾担任英国机器视觉会议（BMVC）URCV Workshop主席。长期担任CVPR、NeurIPS等顶级会议及TPAMI等期刊的审稿人，并获得NeurIPS 2023最佳审稿人奖。

个人主页：

https://weihonglee.github.io

报告摘要：

计算机视觉的研究中，一个长期的目标是开发广泛且通用的系统，使其能够在多种视觉问题上表现良好，并能够仅从少量标注样本中学习概念。相比之下，现有模型仅限于在特定任务或领域（数据集）中工作，例如用于室内图像的语义分割模型（Silberman et al.，2012）。此外，这些模型在数据使用上效率不高，每个任务或领域都需要大量的标注数据。虽然目前研究通过损失平衡策略或架构设计在多任务/多领域的通用表征学习取得进展，但优化此类通用表征网络仍然是一项具有挑战性的问题。本次讲座将重点讨论学习能够在多个任务（例如分割、深度估计）或不同视觉领域（例如图像物体分类、图像动作分类）中良好泛化的通用表征所面临的挑战，并展示这些表征如何能够以数据高效的方式迁移并应用于之前未见过的任务/领域。此外，讲座还将介绍这些表征如何通过部分监督学习获得，并可以通过提出的3D感知正则化进行改善。

参考文献：

[1] Wei-Hong Li, Xialei Liu, Hakan Bilen, "Universal Representations: A Unified Look at Multiple Task and Domain Learning," IJCV, 2023.

[2] Wei-Hong Li, Xialei Liu, Hakan Bilen, "Universal Representation Learning from Multiple Domains for Few-shot Classification," in ICCV, 2021.

[3] Wei-Hong Li, Xialei Liu, Hakan Bilen, "Cross-domain Few-shot Learning with Task-specific Adapters" in CVPR, 2022.

[4] Wei-Hong Li, Steven McDonagh, Ales Leonardis, Hakan Bilen, "Multi-task Learning with 3D-Aware Regularization" in ICLR, 2024.

[5] Wei-Hong Li, Xialei Liu, Hakan Bilen, "Learning Multiple Dense Prediction Tasks from Partially Annotated Data" in CVPR, 2022.

报告嘉宾：赵知临 (澳大利亚麦考瑞大学)

报告时间：2024年10月9日 (星期三)晚上20:30 (北京时间)

报告题目：外分布机器学习理论与算法

报告人简介：

赵知临，澳大利亚麦考瑞大学博士后研究员，在中山大学计算机学院获得学士和硕士学位，并在悉尼科技大学获得博士学位。曾在悉尼科技大学担任博士后研究员。其研究领域涵盖泛化误差分析、分布差异度量以及外分布样本检测。在顶级会议和期刊（如TPAMI、TNNLS、TMLR、MLJ、NeurIPS）上，以第一作者身份发表了多篇理论论文。此外，曾在国际顶级人工智能会议IJCAI和数据科学领域的旗舰会议KDD上主持Tutorial。

个人主页：

https://lawliet-zzl.github.io

报告摘要：

本报告围绕外分布机器学习理论与算法展开，探讨如何应对模型在实际应用中遇到的外分布数据，即超出训练数据范围的样本。我们从外分布的界定、检测和利用三个核心方面展开分析，介绍相关的代表性算法及其在提升模型鲁棒性与安全性中的应用。最后，我们展望了未来研究方向，着力解决外分布处理中的关键挑战和技术瓶颈。

参考文献：

[1] Zhilin Zhao, Longbing Cao, Xuhui Fan, and Wei-Shi Zheng, "Revealing Distribution Discrepancy by Sampling Transfer in Unlabeled Data," in NeurIPS, 2024.

[2] Zhilin Zhao and Longbing Cao, "R-divergence for Estimating Model-oriented Distribution Discrepancy," in NeurIPS, 2023. 

[3] Zhilin Zhao and L. Cao, "Dual Representation Learning for Out-of-Distribution Detection," in Trans. Mach. Learn. Res., 2023.

[4] Zhilin Zhao, Longbing Cao, and Kun-Yu Lin, "Supervision Adaptation Balancing In-Distribution Generalization and Out-of-Distribution Detection," IEEE Trans. Pattern Anal. Mach. Intell., 2023.

[5] Zhilin Zhao, Longbing Cao, and Kun-Yu Lin, "Revealing the Distributional Vulnerability of Discriminators by Implicit Generators," IEEE Trans. Pattern Anal. Mach. Intell., 2022.

主持人：胡建芳 (中山大学)

主持人简介：

胡建芳，中山大学副教授，博士生导师，长期从事视频内容解析理论及应用研究，在IEEE TPAMI、TIP、CVPR和ICCV等刊物发表论文50余篇。曾获中国图象图形学学会优秀博士学位论文奖、广东省自然科学奖二等奖、广东省杰出青年基金支持，入选中山大学逸仙学者新锐学者，多次参加国际顶级学术会议挑战赛并获冠军。担任VALSE 执行AC委员、第十九届中国图象图形学学会青年科学家会议学术Poster主席、中国图象图形学学会视觉大数据专业委员会委员和中国图象图形学学会青年工作委员会委员等。

特别鸣谢本次Webinar主要组织者：

主办AC：胡建芳 (中山大学)