VALSE Webinar 25-19期 总第390期 复杂多模态信息处理

报告嘉宾：唐厂 (华中科技大学)

报告题目：单细胞空间转录组学数据的多视图分析方法

报告嘉宾：康昭 (电子科技大学)

报告题目：多模态数据处理的图学习视角

报告嘉宾：胡迪 (中国人民大学)

报告题目：平衡多模态学习：从小模型到大模型

报告嘉宾：文杰（哈尔滨工业大学 (深圳)）

报告题目：部分模态缺失下的不完备多模态学习

Panel嘉宾：

唐厂 (华中科技大学)、康昭 (电子科技大学)、胡迪 (中国人民大学)、文杰 (哈尔滨工业大学(深圳))、刘新旺 (国防科技大学)

报告嘉宾：唐厂 (华中科技大学)

报告时间：2025年7月2日 (星期三)晚上20:00 (北京时间)

报告题目：单细胞空间转录组学数据的多视图分析方法

报告人简介：

唐厂，华中科技大学软件学院副教授，湖北省“杰青”、“青拔”和“楚天学子”，IEEE、CCF、CSIG高级会员。2016年博士毕业于天津大学，2014年9月-2015年9月在澳大利亚卧龙岗大学联合培养学习一年。研究方向聚焦于模式识别与机器学习，发表学术论文100余篇，其中ESI高被引论文12篇，ESI热点论文1篇，谷歌学术总引7800余次，获授权中国发明专利20余项。主持国家自然科学基金项目3项，CAAI-华为MindSpore学术奖励基金研究课题以及山东省自然科学基金创新发展联合基金等项目。担任CCF-NCTCS和CCF-AI专委执行委员，Neural Networks、IEEE Journal of Biomedical and Health Informatics和CAAI Transactions on Intelligence Technology等SCI期刊编委，国际数字图像处理大会ICDIP 2022/2023/2024程序主席。研究成果获2024年度中国图象图形学学会自然科学二等奖 (排名第1)、2024年吴文俊人工智能自然科学奖一等奖 (排名第2)。

个人主页：

http://www.tangchang.net

报告摘要：

空间转录组学 (Spatial Transcriptomics)是一种新兴的生物技术，能够在保留组织样本中细胞原始空间位置的同时，高通量测量基因表达信息。它突破了传统单细胞转录组技术 (如scRNA-seq)因组织解离而丢失空间结构的局限性，为研究细胞微环境、组织功能区域和疾病机制提供了更全面的视角。2020年空间转录组技术被Nature Methods 评为年度技术，进一步证实该技术具有巨大的发展空间，后续空间转录组技术将会在各个研究领域改变我们了解复杂组织的方式。但是，由于基因表达特征的高度异质化等问题，精准识别在基因表达和组织形态学上具有相似性的区域 (也叫空间域)面临巨大挑战。本次汇报将简要介绍空间转录组学空域识别的进展以及我们利用多视图学习方法进行空间转录组学空域识别的相关工作。

参考文献：

[1] Yanran Zhu, Xiao He, Chang Tang*, Xinwang Liu, Yuanyuan Liu, Kunlun He, Multi-view Adaptive Fusion Network for Spatially Resolved Transcriptomics Data Clustering, IEEE Transactions on Knowledge and Data Engineering, 36(12): 8889 - 8900, 2024.

[2] Xiao He, Chang Tang*, Xinwang Liu, Chuankun Li, Shan An, Zhenglai Li, Heterogeneous Graph Guided Contrastive Learning for Spatially Resolved Transcriptomics Data, ACM International Conference on Multimedia, 8287-8295, 2024.

[3] Yuang Xiao, Yanran Zhu, Chang Tang*, Xiao Zheng, Yuanyuan Liu, Xinwang Liu. Spatially Resolved Transcriptomics Data Clustering with Tailored Spatial-scale Modulation, International Joint Conference on Artificial Intelligence, 2025.

[4] Yanran Zhu, Xiao Zheng, Xiao He, Xin Zou, Peihong Wang, Chang Tang*, Xinwang Liu, Kunlun He, BMCST: Balanced Multi-view Clustering for Spatially Resolved Transcriptomics with Mamba-driven Dynamic Feature Refinement, Information Fusion, 2025.

[5] Wenqi Yang, Chang Tang*, Xiao Zheng, Xinzhong Zhu, Xinwang Liu, Eigenvalue Ratio Inspired Partition Learning and Fusion for Multiple Kernel Clustering, IEEE Transactions on Knowledge and Data Engineering, 36(12): 8135 - 8147, 2024.

报告嘉宾：康昭 (电子科技大学)

报告时间：2025年7月2日 (星期三)晚上20:30 (北京时间)

报告题目：多模态数据处理的图学习视角

报告人简介：

康昭，电子科技大学副教授，美国南伊利诺伊大学博士，四川省青年人才计划特聘专家，连续4年入选斯坦福大学全球Top2%顶尖科学家榜单，入选百度首届全球高潜力“AI华人青年学者” 榜单，入选Research.com计算机科学领域最佳科学家榜单。主要研究图机器学习、自然语言处理。以第一或通讯作者身份发表ICML，NeurIPS，AAAI，IEEE TNNLS、TCYB、TIP、TKDE等 CCF-A类和中科院1区论文40余篇，ESI前1%高被引论文8篇，谷歌学术引用7000余次，H-index 45。主持军科委、国防科工局、自然基金项目7项，成果获教育部和新疆科学技术进步一等奖、军事技术发明一等奖。受邀担任AAAI 2026/2025/2024/2022、MM2025领域主席，Neural Networks期刊编委。

个人主页：

https://zhaokang.site/

报告摘要：

Most multimodal learning methods generally align modalities in pairs, neglecting the underlying graph structural relationships between data points. Multimodal graph learning (MMGL), which integrates these heterogeneous modalities with structural information, holds transformative potential by producing richer representations that enable more accurate predictions, improved clustering and classification. I will present our work in this direction, highlighting that MMGL achieves state-of-the-art performance across multiple datasets, even in the absence of explicit graph structure information.

参考文献：

[1] Shuo Wang, Shunyang Huang, Jinghui Yuan, Zhixiang Shen, and Zhao Kang, "Cooperation of Experts: Fusing Heterogeneous Information with Large Margin," in Proceedings of the 42nd International Conference on Machine Learning (ICML'2025), Vancouver, Canada, July, 2025.

[2] Zhixiang Shen, Shuo Wang, Zhao Kang, "Beyond Redundancy: Information-aware Unsupervised Multiplex Graph Structure Learning," The Thirty-eighth Annual Conference on Neural Information Processing Systems (NeurIPS'2024), Vancouver, Canada, December, 2024. 

报告嘉宾：胡迪 (中国人民大学)

报告时间：2025年7月2日 (星期三)晚上21:00 (北京时间)

报告题目：平衡多模态学习：从小模型到大模型

报告人简介：

胡迪，现任中国人民大学高瓴人工智能学院副教授，博导。主要研究方向为机器多模态感知、交互与学习，以主要作者在TPAMI/ICML/CVPR/CoRL等人工智能顶级期刊及会议发表论文60余篇，代表性工作如视音理解统一模型Crab；平衡多模态学习理论，机制与方法；视触觉基座模型AnyTouch等。作为副主编出版本科教材一部。曾入选 CVPR Doctoral Consortium；荣获2020中国人工智能学会优博奖；荣获2022年度吴文俊人工智能优秀青年奖；入选第七届中国科协青托计划、微软铸星学者、智源学者等。所指导学生获百度奖学金 (全球10人)。担任AAAI、IJCAI Senior PC等，主办/协办多场国际顶级会议的多模态学习讲习班 (Tutorial)。

个人主页：

https://gewu-lab.github.io/

报告摘要：

多源异构数据 (如图、文、音，触觉等模态)因为其本身固有的信息编码形式和信息有效性等客观因素，会普遍具有差异化的学习特点和学习表现，从而产生学习不协调的现象，进而显著降低异构模态间协同学习的质量。在本次报告中，我将首先对不同模态的差异化学习现象、产生原因和潜在影响进行介绍，揭露此问题为“平衡多模态学习 (Balanced Multimodal Learning)”。基于此，在简要介绍我们在优化手段、数据质量和学习目标等多层面提出的系统性解决方案后，我将进一步详细介绍该问题在多模态大模型下的近期思考与实践，揭示了多模态大模型微调的基本逻辑并针对提出了高质量多模态微调的全新方案MokA。MokA结合不同基座模型 (LLaMA2/3, Qwen2, Qwen2.5-VL)，在audio-visual-text, visual-text, speech-text等不同多模态场景下都取得了领先的水平。

参考文献：

[1] Y. Wei, Y. Miao, D. Zhou, and D. Hu*, “MokA: Multimodal Low-Rank Adaptation for MLLMs,” arXiv:2506.05191, 2025. https://gewu-lab.github.io/MokA/

[2] H. Ni, Y. Wei, H. Liu, G. Chen, C. Peng, H. Lin, and D. Hu*, “RollingQ: Reviving the Cooperation Dynamics in Multimodal Transformer,” in Proceedings of the Forty-Second International Conference on Machine Learning (ICML) 2025.

[3] X. Peng†, Y. Wei†, A. Deng, D. Wang, and D. Hu*. “Balanced Multimodal Learning via On-the-fly Gradient Modulation,” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. Oral

报告嘉宾：文杰 (哈尔滨工业大学(深圳))

报告时间：2025年7月2日 (星期三)晚上21:30 (北京时间)

报告题目：部分模态缺失下的不完备多模态学习

报告人简介：

文杰，哈尔滨工业大学 (深圳)青拔副教授，博士生导师，IEEE/CCF/CSIG高级会员，深圳市视觉目标检测与判识重点实验室副主任。2019年获评“中国博士后创新人才支持计划”。主持国基面上、国基青年、广东省青年提升 (省优青)、广东省粤深青年基金、深圳市基础研究面上等十多个项目。研究多模态/多视图学习，在TPAMI、NIPS、ICML、CVPR等期刊和会议上发表论文百余篇，谷歌学术引用6700多次，8篇一作/通讯论文入选ESI高被引论文，获AAAI 2023优秀论文奖。担任IEEE TIP、IEEE TIFS、Pattern Recognition期刊Associate Editor，担任Information Fusion期刊领域编辑 (Area Editor)，担任NeurIPS、ICML、ACMMM等会议领域主席。

个人主页：

https://faculty.hitsz.edu.cn/wenjie

报告摘要：

近年来，随着信息技术的飞速发展，多模态数据已成为贯穿科研、工业与社会生活各领域的核心数据形态。诚如古语“兼听则明，偏信则暗”所揭示的朴素哲理，单一来源的信息 (即单模态数据)往往只能提供对客观事物片面、局部的认知，如同“盲人摸象”。与之相比，多模态数据通过整合来自不同来源、不同视角的异构信息，能够构建起对同一事物更为全面、立体的理解。然而传统多模态学习方法普遍基于模态数据的完备性假设来建模，不适于处理应用中存在部分模态缺失情形下的缺失多模态数据处理任务。近年来，面向缺失多模态数据学习的研究受到了非常多的关注，在各大国际顶级期刊和会议上也涌现出了非常多工作。本次报告拟从不完备多模态无监督聚类 → 不完备多模态缺失多标签学习、从未缺失有限数据信息挖掘 → 缺失信息推理与利用等多个层面分享团队在“缺失多模态学习”方面的工作。

参考文献：

[1] Liu C, Wen J*, Xu Y, et al. Reliable representation learning for incomplete multi-view missing multi-label classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025.

[2] Wen J, Liu C, Deng S, et al. Deep Double Incomplete Multi-View Multi-Label Learning with Incomplete Labels and Missing Views[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(8): 11396-11408.

[3] Liu C, Wen J, Luo X, et al. Dicnet: Deep instance-level contrastive network for double incomplete multi-view multi-label classification[C]//Proceedings of the AAAI conference on artificial intelligence. 2023, 37(7): 8807-8815.

[4] Wen J, Deng S, Wong W, et al. Diffusion-based missing-view generation with the application on incomplete multi-view clustering[C]//Forty-first International Conference on Machine Learning. 2024.

[5] Liu C, Wen J, Wu Z, et al. Information Recovery-Driven Deep Incomplete Multiview Clustering Network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(11): 15442-15452.

[6] Wen J, Zhang Z, Zhang Z, et al. Dimc-net: Deep incomplete multi-view clustering network[C]//Proceedings of the 28th ACM international conference on multimedia. 2020: 3753-3761.
[7] Wen J, Xu Y, Liu H. Incomplete multiview spectral clustering with adaptive graph learning[J]. IEEE Transactions on Cybernetics, 2018, 50(4): 1418-1429.

Panel嘉宾：刘新旺 (国防科技大学)

嘉宾简介：

刘新旺，国防科技大学计算机学院教授，博士生导师。国家杰青、 优青获得者。主要研究兴趣包括机器学习、数据挖掘等。近五年以第一或通讯作者在CCF A类顶刊和顶会上发表论文110余篇，包括IEEE TPAMI论文15篇，含3篇独立作者。ESI高被引论文12篇。谷歌学术引用两万余次，入选2022-2024年度全球2%顶尖科学家榜单。担任IEEE TNNLS、IEEE TCYB、Information Fusion等期刊AE及ICML、NeurIPS等顶会的资深程序委员/领域主席。部分研究成果曾两次获得湖南省自然科学一等奖 (2/6、6/6)、湖北省自然科学奖三等奖 (2/4)以及中国图象图形学会自然科学二等奖 (2/5)。

个人主页：

https://xinwangliu.github.io/

主持人：王思为 (智能博弈与决策实验室)

主持人简介：

王思为，智能博弈与决策实验室助理研究员。主要研究方向为大规模多模态数据分析、大模型多Agent等。于NeurIPS、ICML、CVPR、ICCV、IEEE TPAMI、TIP、TKDE等人工智能顶级会议和期刊发表论文20余篇，学术引用4000余次，4篇ESI高被引论文。担任CCF-A类会议NeurIPS、ICML、ICLR、CVPR、ICCV、AAAI、IJCAI、ACMMM领域主席和一区期刊Pattern Recognition编委，主持、参与多项科技委项目、科技部项目、国家自然科学基金项目。

个人主页：

https://wangsiwei2010.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：王思为 (智能博弈与决策实验室)