VALSE Webinar 25-20期 总第391期 开放场景下多模态信息融合

报告嘉宾：杨杨 (南京理工大学)

报告题目：开放环境下多模态学习与应用

报告嘉宾：徐涵 (东南大学)

报告题目：面向复杂环境的多目标图像融合方法

Panel嘉宾：

张长青 (天津大学)、杨杨 (南京理工大学)、徐涵 (东南大学)

报告嘉宾：杨杨 (南京理工大学)

报告时间：2025年7月9日 (星期三)晚上20:00 (北京时间)

报告题目：开放环境下多模态学习与应用

报告人简介：

杨杨，南理工计算机科学与工程学院教授、博导、青拔。主要研究方向是开放环境数据挖掘。目前主持科技部重点研发青年科学家项目等，以第一作者\通讯作者身份发表IEEE TPAMI、TKDE、TIP、ICML、NeurIPS、KDD等CCF A类期刊和会议论文30余篇，获国际会议ACML17最佳论文奖，江苏省杰出青年基金项目、科协青年人才托举工程支持。基于研究成果，在CVPR、ICCV等国内外相关竞赛上获20余项冠军。

个人主页：

http://www.njustkmg.cn/

报告摘要：

本报告将介绍我们近年来在开放环境下多模态学习研究与应用方面的相关工作进展，主要针对开放环境凸显的多变特性引发的模态难交互、决策难适配等挑战，为此提出了相关可靠多模态表征方法，以及稳健预测方法，提升了应对变化情况的能力，并在相关实践中应用。

参考文献：

[1] TAI++: Text as Image for Multi-Label Image Classification by Co-Learning Transferable Prompt. Xiangyu Wu, Qingyuan Jiang, Yifeng Wu, Qingguo Chen, Yang Yang, and Jianfeng Lu.  IJCAI‘24

[2] Interactive Multimodal Learning via Flat Gradient Modification. Qing-Yuan Jiang, Zhouyang Chi, Yang Yang. IJCAI‘25

[3] Enriching Category Representations with LLMs Towards Robust Zero-Shot Out-of-Distribution Detection. Dian Chao, Yuxuan Zhang, Luping Zhou, Yang Yang. ECML-PKDD'25.

[4] Facilitating Multimodal Classification via Dynamically Learning Modality Gap. Yang Yang, Fengqiang Wan, Qingyuan Jiang*, Yi Xu. NeurIPS'24. 

[5] Learning to Rebalance Multi-Modal Optimization by Adaptively Masking Subnetworks. Yang Yang, Hongpeng Pan, Qing-Yuan Jiang, Yi Xu, and Jinhui Tang. IEEE TPAMI

[6] Robust Semi-supervised Learning by Wisely Leveraging Open-set Data. Yang Yang, Nan Jiang, Yi Xu, and De-Chuan Zhan. IEEE TPAMI

报告嘉宾：徐涵 (东南大学)

报告时间：2025年7月9日 (星期三)晚上20:30 (北京时间)

报告题目：面向复杂环境的多目标图像融合方法

报告人简介：

徐涵，东南大学自动化学院副研究员，此前于武汉大学获学士和博士学位。研究方包括为计算机视觉、信息融合、图像增强等，在IEEE TPAMI/TIP/JAS、IJCV、Information Fusion、CVPR、ICCV、AAAI等高水平期刊或会议上发表论文30余篇，其中ESI热点论文1篇，ESI高被引论文6篇，谷歌学术累计引用7000余次。曾入选全球前2%顶尖科学家榜单、中国人工智能学会博士学位论文激励计划、江苏省青年科技人才托举工程等。

个人主页：

https://automation.seu.edu.cn/xh/list.htm

报告摘要：

多源传感器协同感知的快速发展，推动图像融合技术成为提升场景理解精度的关键手段，通过有效集成多源图像的关键与互补特征，提升对场景的认知精度与决策效能。然而，面对实际应用中普遍存在的视差偏移、退化干扰、动态需求，现有方法在环境适应性与框架灵活性方面仍面临严峻挑战。本次报告将汇报面向复杂环境的图像融合方法的研究进展，将围绕三个目标展开，具体包括：1) 面向未配准多模态图像的配准与融合方法；2) 面向复杂退化的图像融合方法；3) 文本驱动的可控图像融合方法。通过以上内容，简要介绍图像融合方向的研究进展与发展趋势。

参考文献：

[1] Han Xu, Jiteng Yuan, Jiayi Ma. Murf: Mutually reinforcing multi-modal image registration and fusion, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023.

[2] Xunpeng Yi, Han Xu, Hao Zhang, Linfeng Tang, Jiayi Ma. Text-if: Leveraging semantic text guidance for degradation-aware and interactive image fusion, in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025.

[3] Hao Zhang, Lei Cao, Xuhui Zuo, Zhenfeng Shao, Jiayi Ma. OmniFuse: Composite Degradation-Robust Image Fusion with Language-Driven Semantics, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025.

Panel嘉宾：张长青 (天津大学)

嘉宾简介：

张长青，天津大学智能与计算学部教授，其主要研究方向为多模态机器学习、可信人工智能。Google Scholar引用1万3千余次。研究成果获得天津市自然科学一等奖、重庆市自然科学一等奖、中国图象图形学学会自然科学奖一等奖、ICME最佳论文等奖励，连续入选爱思唯尔“中国高被引学者”。受邀担任Pattern Recognition编委、中国图象图形学报编委及顶级会议ICLR/IJCAI领域主席。

个人主页：

https://cic.tju.edu.cn/faculty/zhangchangqing/index.html

主持人：曹兵 (天津大学)

主持人简介：

曹兵，天津大学智能与计算学部教授、博导，主要研究方向为多模态信息融合，在ICML/NeurIPS/ICLR、CVPR/ICCV/ECCV、IEEE Trans./IJCV等国际会议和期刊上发表论文40余篇。主持国家自然科学基金面上项目、青年项目，CAAI-华为学术基金 (优秀结题)，CCF-百度松果基金等。研究成果获得天津市自然科学一等奖、吴文俊人工智能科技进步一等奖等，入选中国科协青年人才托举工程。

个人主页：

https://bcaosudo.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：曹兵 (天津大学)