VALSE Webinar 20221123-28期 总第295期 深度网络交互学习：合作, 对抗与融合 ...

报告嘉宾：王杨 (合肥工业大学)

报告题目：Switchable Online Knowledge Distillation

报告嘉宾：徐行 (电子科技大学)

报告题目：Cross-modal Correlation Learning via Knowledge Transfer and Distillation

Panel嘉宾：

王杨 (合肥工业大学)、徐行 (电子科技大学)、黄增丰 (复旦大学)、刘新旺 (国防科技大学)

Panel议题：

1. 深度学习模型如何有效融合大规模异质网络中不同类型的边和点?

2. 数据分散在多个服务器的联邦学习场景目前面临哪些挑战以及当前的一些解决方案?

3. 相较于现有的单视图学习，多视图学习的难点在什么地方？

4. 无监督学习愈来愈收到关注，无监督多视图学习面临的挑战有哪些？

5. 当前的深度网络融合，多模态融合具体面临着什么问题?

6. 知识蒸馏未来面临什么样的挑战?

7. 刚才您介绍了将知识蒸馏技术应用于跨模态草图检索任务中，通过教师网络到学生网络的单向传递实现跨模态数据间的语义相关性建模，那么通过一组学生网络在训练过程中相互学习、相互指导的交互学习的思想能否应用于该任务呢？

8. 当前，将跨模态检索 (或图文语义匹配)作为多模态预训练大模型的下游任务来进行训练，其性能显著高于传统跨模态检索任务性能。那么传统跨模态检索任务的优势在哪里，未来会有哪些发展？

9. 当前多模态任务大都局限于简单目标或者固定场景下给定数据的信息交互学习，为理解更深层的逻辑语义或主观语义，交互学习的方式或者机制应该如何设计更加合适？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：王杨 (合肥工业大学)

报告时间：2022年11月23日 (星期三)晚上20:00 (北京时间)

报告题目：Switchable Online Knowledge Distillation

报告人简介：

王杨，合肥工业大学计算机与信息学院黄山青年学者，教授、博士生导师，于大连理工大学与新南威尔士大学获得本科与博士学位，从2019年至今担任CCF A类期刊 ACM Transactions on Information Systems (ACM TOIS)副编。2020年入选安徽省高层次人才计划，2022年入选斯坦福大学发布的 人工智能与图像处理领域 Top 2% 高被引科学家。在人工智能领域顶级会议与杂志发表文章80篇，其中两篇论文获评Paper Digest 2021/ 03版本评选的IJCAI 最有影响力的论文列表，7篇文章入选ESI 高被引Top 1%论文。目前主持国家自然科学基金联合基金-重点项目，面上项目以及合肥工业大学黄山学者项目。同时担任国家自然科学基金优秀青年 (海外)基金，面上项目，地区基金项目的通讯评审专家。

个人主页：

https://sites.google.com/view/wayag/home

报告摘要：

Online Knowledge Distillation (OKD)improves the involved models by reciprocally exploiting the difference between teacher and student. Several crucial bottlenecks over the gap between them — e.g., Why and when does a large gap harm the performance, especially for student? How to quantify the gap between teacher and student? — have received limited formal study. In this paper, we propose Switchable Online Knowledge Distillation (SwitOKD), to answer these questions. Instead of focusing on the accuracy gap at test phase by the existing arts, the core idea of SwitOKD is to adaptively calibrate the gap at training phase, namely distillation gap, via a switching strategy between two modes — expert mode (pause the teacher while keep the student learning)and learning mode (restart the teacher). To possess an appropriate distillation gap, we further devise an adaptive switching threshold, which provides a formal criterion as to when to switch to learning mode or expert mode, and thus improves the student’s performance. Meanwhile, the teacher benefits from our adaptive switching threshold and keeps basically on a par with other online arts. We further extend SwitOKD to multiple networks with two basis topologies. Finally, extensive experiments and analysis validate the merits of SwitOKD for classification over the state-of-the-arts. Our codeis available at https://github.com/hfutqian/SwitOKD.s.

参考文献：

[1] Biao Qian, Yang Wang*, Hongzhi Yin, Richang Hong, Meng Wang. Switchable Online Knowledge Distillation. ECCV 2022.  

[2] Yang Wang. Survey on Deep Multi-modal Data Analytics: Collaboration, Rivalry, and Fusion. ACM TOMM 2021.

报告嘉宾：徐行 (电子科技大学)

报告时间：2022年11月23日 (星期三)晚上21:00 (北京时间)

报告题目：Cross-modal Correlation Learning via Knowledge Transfer and Distillation

报告人简介：

徐行，现任电子科技大学计算机科学与工程学院研究员，依托电子科技大学校级特色研究中心“未来媒体研究中心”。研究兴趣包括跨媒体智能分析领域的信息检索、特征融合、语义理解及知识迁移等关键技术。至今已发表发表国内外学术论文百余篇，其中中国计算机学会 (CCF)推荐A类会议论文及中科院JCR一区及以上期刊论文50余篇，Google学术引用4500余次。主持或主研国家级和省部级科研项目10余项。获得包括2017年国际多媒体大会ACM MM (CCF-A)最佳论文奖，2017年国际多媒体展览会ICME (CCF-B)的最佳会议论文铂金奖和2022年度最佳学生论文奖，2020年IEEE多媒体汇刊TMM最佳论文奖等国际会议奖项7项；荣获2019年度IEEE计算机协会大数据技术委员会颁发的“杰出青年研究员”和2020年电子科技大学“学术新人奖”荣誉。

个人主页：

https://interxuxing.github.io/

报告摘要：

Cross-modal retrieval aims at searching the relevant data of one media type given the query data of another media type. It is a fundamental technique that enables more complex semantic understanding of cross-modal data such as text, images and videos.

The core research issue locates at learning the cross-modal correlations to surpass the heterogeneity gap and semantic gap between the cross-media content and knowledge. Nevertheless, most existing studies consider the retrieval scenario on certain datasets that lack extendability or generalization ability, i.e., the semantic knowledge obtained from specific dataset cannot be directly transferred to other datasets, as different benchmark may have different characteristics of its own. The potential solutions include leveraging external knowledge resources (e.g., social-media sites, expert systems and Wikipedia)as intermediate bridge for knowledge transfer or distilling the knowledge from pretrained model to specific tasks. In this talk, I will elaborately introduce several effective knowledge transfer and distillation based methods proposed by our group to tackle the “extendability” challenge in cross-modal retrieval tasks such as image-text retrieval and sketch-image retrieval.

参考文献：

[1] Kaiyi Lin, Xing Xu*, Lianli Gao, Zheng Wang and Heng Tao Shen, “Learning Cross-Aligned Latent Embeddings for Zero-Shot Cross-Modal Retrieval”, The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI), 2020.

[2] Jialin Tian, Xing Xu*, Fumin Shen, Yang Yang and Heng Tao Shen, “TVT: Three-Way Vision Transformer through Multi-Modal Hypersphere Learning for Zero-Shot Sketch-Based Image Retrieval”, Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI), 2022.

[3] 田加林，徐行，沈复民，申恒涛*，“基于跨模态自蒸馏的零样本草图检索”，软件学报，2022

[4] Jialin Tian, Kai Wang, Xing Xu*, Zuo Cao, Fumin Shen and Heng Tao Shen, "Multimodal Disentanglement Variational AutoEncoders for Zero-Shot Cross-Modal Retrieval", The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR), 2022

Panel嘉宾：黄增峰 (复旦大学)

嘉宾简介：

黄增峰，复旦大学大数据学院研究员，博士生导师，入选国家青年人才计划以及上海市扬帆计划。2013年博士毕业于香港科技大学，之后在丹麦奥胡斯大学和澳大利亚新南威尔士大学从事博士后研究工作。致力于大数据计算，机器学习理论，数据库算法，图表示学习等理论和应用的研究。他在国际一流期刊和会议上发表高水平论文五十余篇，其中包括SICOMP, JMLR, FOCS, ICML, NeurIPS, SIGMOD, SIGKDD等。曾获得了国际机器学习大会ICML 2018最佳论论文runner up奖 (独立署名)，ACM数据库理论旗舰会议PODS 2022时间检验奖 (Alberto. O. Mendelzon Test-of-Time Award)，以及2020世界人工智能大会青年优秀论文提名奖。

个人主页：

https://zengfenghuang.github.io/

Panel嘉宾：刘新旺 (国防科技大学)

嘉宾简介：

刘新旺，国防科技大学计算机学院教授，国家自然科学基金优秀青年基金获得者、科技部重点研发计划首席科学家。主要研究兴趣包括核算法、多视图聚类算法、深度聚类等。发表IEEE Trans及CCF A类论文50余篇，包括IEEE T-PAMI、IEEE T-KDE、IEEE T-IP、ICML、NeurIPS、CVPR、ICCV、AAAI、IJCAI等。谷歌学术引用7500余次，3篇进入ESI计算机科学学科前10%层次。担任AAAI 2020、IJCAI2020-2021等国际人工智能顶级会议的高级程序委员会委员，以及IEEE TNNLS, Information Fusion的编委。主持科技部“新一代人工智能”重大项目、国家自然科学基金青年基金、面上项目，研究成果获湖南省自然科学一等奖。

个人主页：

https://xinwangliu.github.io/

主持人：姬艳丽 (电子科技大学)

嘉宾简介：

姬艳丽，电子科技大学教授、博士生导师。2012年9月获得日本九州大学博士学位。研究方向为面向机器人应用的人机交互技术，包括自然场景下的人体行为识别、人的骨架提取、音视觉多模态信息理解、情感认知等。发表TIP，TMM，TKDE，TCSVT，PR，Signal processing, CVPR，ACM MM等SCI期刊论文及高水平国际会议论文，申请近三十项发明专利。获得28th Australasian Database Conference国际会议Best Paper Award，第二十届中国虚拟现实大会最佳论文提名奖。主持国家自然科学基金青年项目和面上项目，主持和参与十多项国家级、省部级、知名企业横向项目。多次参与承办国际会议和国内学术峰会，学术兼职包括国际会议ACCV 2022 Industrial Chair，ACMMM 2021 Financial chair，ACMMM Asia 2021 Workshop chair，ICME Registration Chair，国内学术峰会VALSE 2015-2022，以及ACM SIGAI CHINA symposium in TURC, 2017-2019 Local Chair等。中国计算机学会高级会员 (CCF Senior Member)，中国图象图形学会青年工作委员会执行委员、副秘书长，VALSE委员会SAC副主席。

个人主页：

https://cfm.uestc.edu.cn/~yanliji/

特别鸣谢本次Webinar主要组织者：

主办AC：姬艳丽 (电子科技大学)