20210915-26 总第253期 兼听则明：多源异构数据协同技术

报告嘉宾：朱磊 (山东师范大学)

报告题目：Multi-modal Hash Representation Learning

报告嘉宾：唐厂 (中国地质大学(武汉))

报告题目：多视图遥感影像处理

Panel嘉宾：

孙仕亮 (华东师范大学)，朱磊 (山东师范大学)、唐厂 (中国地质大学)、张正 (哈尔滨工业大学(深圳))、胡鹏 (四川大学)、张长青 (天津大学)

Panel议题：

1. 多模态技术已经发展了很多年，也陆续有大量的研究工作产生，多模态机器学习的核心问题是什么？曾经的挑战是否解决？当前还存在哪些关键挑战？

2. 多模态学习方法众多，同时也有很多应用需要用到多模态技术，在实际应用中如何选择合适的方法？是否存在有一些指导性原则？

3. 跨模态哈希方法的核心问题是什么？它的主要优点是什么，缺点是什么？存在哪些关键挑战？

4. 多模态遥感图像融合方法有哪些挑战？与自然场景图像处理有哪些区别？

5. 多模态涉及的知识面广，技术复杂，对新入此道的研究生有哪些建议？知识体系如何构建？是否有可快速上手工程实践的可行路线？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：朱磊 (山东师范大学)

报告时间：2021年09月15日 (星期三)晚上20:00 (北京时间)

报告题目：Multi-modal Hash Representation Learning

报告人简介：

Lei Zhu is a professor and doctoral supervisor of Shandong Normal University and the head of the youth innovation team of "multimedia intelligent computing" in Shandong colleges and universities. His main research topic is large-scale multimedia retrieval. He has authored or co-authored 78 A-ranked conferences recognized by the CCF conference ranking and ACM/IEEE Transactions articles, whereby he is the first author and corresponding author of 28 full papers. His publications have attracted about 3000 Google Citations. In particular, his two research works on multimedia hash representation learning were nominated for the best paper award of ACM SIGIR and ACM MM in 2019. One paper on multi-modal recommendation was awarded with the best paper of ADMA 2020. One paper on cross-modal knowledge transfer was selected as one of China’s 100 most influential international academic papers in 2019.

At present, he serves as the editorial board member of four SCI-indexed journals. He has served as the Area Chair, Senior Program Committee or reviewer for more than 40 well-known international journals and conferences. At present, Prof. Zhu presides over the youth/general project of NSFC and the excellent youth fund of Shandong Province, and participates in many projects such as the key projects of NSFC and the major basic research projects of Shandong natural science foundation. He won ACM China SIGMM Rising Star Award, Shandong Provincial Entrepreneurship Award for Returned Students, and Shandong Provincial AI Outstanding Youth Award.

个人主页：

https://sites.google.com/site/homepageleizhu

报告摘要：

Hashing is a binary representation learning technique. It can convert high-dimensional data into compact binary hash codes. Compared with the traditional indexing structure, it has obvious advantages on retrieval and storage efficiency. Hence, hashing has become a promising technique to solve large-scale multimedia analysis problems. Multimedia data have the characteristics of multi-modal, heterogeneous, large-scale, noisy, modality-missing, streaming generation and so on. How to efficiently learn discriminative binary hash codes for multimedia data is an interesting problem to further investigate. In this talk, I will introduce several state-of-the-art multi-modal hashing methods. These methods all capture the complementary semantics of multi-modal features to improve the retrieval accuracy of hash codes with highly efficient advantages of model training.

参考文献：

[1] Hui Cui, Lei Zhu (Corresponding Author), Jingjing Li, Yang Yang, Liqiang Nie. Scalable Deep Hashing for Large-scale Social Image Retrieval. IEEE TIP, 29: 1271-1284 (2020)

[2] Lei Zhu, Hui Cui, Zhiyong Cheng, Jingjing Li, Zheng Zhang. Dual-level Semantic Transfer Deep Hashing for Efficient Social Image Retrieval. IEEE TCSVT, 31(4): 1478-1489 (2021)

[3] Cui Hui, Lei Zhu (Corresponding Author), Jingjing Li, Zhiyong Cheng, Zheng Zhang. Two-pronged Strategy: Lightweight Augmented Graph Network Hashing for Scalable Image Retrieval. In ACM MM 2021, Accepted

[4] Lei Zhu, Chaoqun Zheng, Xu Lu, Zhiyong Cheng, Liqiang Nie, Huaxiang Zhang. Efficient Multi-modal Hashing with Online Query Adaption for Multimedia Retrieval. ACM TOIS, Vol. 40, No. 2, Article 41 (2021)

报告嘉宾：唐厂 (中国地质大学(武汉))

报告时间：2021年09月15日 (星期三)晚上20:30 (北京时间)

报告题目：多视图遥感影像处理

报告人简介：

唐厂，中国地质大学（武汉）计算机学院教授，博士生导师，人工智能系主任。2016年博士毕业于天津大学电子信息工程学院信息与通信工程专业，曾于2014年9月至2015年9月在澳大利亚University of Wollongong计算机科学与技术学院交流学习。入选2019年度湖北省级“楚天学子”人才计划和武汉市朝阳计划。目前为IEEE、CAAI和CCF会员，CCF理论计算机科学专委和人工智能专委委员，CAAI机器学习与人工智能专委委员，全国高校大数据教育联盟委员会委员，SCI期刊BMC Bioinformatics编委，中国人工智能学会会刊《CAAI Transactions on Intelligence Technology》以及《计算机工程》青年编委。研究方向为多视图机器学习及应用。近5年以来主持国家自然科学基金青年项目、面上项目、湖北省自然科学基金面上项目以及华为-MindSpore创新基金等科研项目7项。以第一作者身份发表本领域期刊学术论文和CCF A类会议论文共计50余篇（包括IEEE T-PAMI、 IEEE T-MM、IEEE T-KDE、 IEEE T-HMS、ICML、ICCV、 CVPR、 IJCAI、 AAAI and ACM-MM等），ESI高被引论文一篇。此外，还长期担任本领域顶级期刊和会议的审稿人，程序委员会委员及领域主席。

个人主页：

http://tangchang.net

报告摘要：

随着遥感技术的飞速发展，光学、热红外等大量不同卫星传感器对地观测的应用，获取的同一地区的多种遥感影像数据(多时相、多光谱、多传感器、多平台和多分辨率)越来越多，这些数据可以被称作多视图或者多源遥感影像。与单一视图遥感影像数据相比，多视图遥感影像数据所提供的信息具有冗余性、互补性和共性。如何充分挖掘并利用多视图遥感影像数据提升遥感影像智能解译效果成为遥感影像处理领域的一个热门研究方向。本次报告将介绍我们在多视图高光谱遥感影像波段选择、遥感影像变化检测方面的最新进展，并探讨该方向的研究趋势。

参考文献：

[1] Chang Tang, Liu Xinwang, Zhang Wei, Wang Lizhe, Zomaya Albert, "Hyperspectral Band Selection via Spatial-Spectral Weighted Region-wise Multiple Graph Fusion-Based Spectral Clustering", IJCAI 2021.

[2] Tang Chang, Xiao Zheng, Xinwang Liu, Wei Zhang, Jing Zhang, Jian Xiong, and Lizhe Wang. "Cross-view Locality Preserved Diversity and Consensus Learning for Multi-view Unsupervised Feature Selection." IEEE Transactions on Knowledge and Data Engineering (2021).

[3] Chang Tang, Liu Xinwang, Xiao Zheng, Wanqing Li, Jian Xiong, Lizhe Wang, Albert Zomaya, and Antonella Longo. "DeFusionNET: Defocus Blur Detection via Recurrently Fusing and Refining Discriminative Multi-scale Deep Features." IEEE Transactions on Pattern Analysis and Machine Intelligence (2020).

[4] Chang Tang, Xinwang Liu, Xinzhong Zhu, Lizhe Wang, Albert Zomaya, "DeFusionNET: Defocus Blur Detection via Recurrently Fusing and Refining Multi-scale Deep Features", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2700-2709, 2019.

Panel嘉宾：孙仕亮 (华东师范大学)

嘉宾简介：

孙仕亮，华东师范大学计算机学院教授，模式识别与机器学习研究组负责人，华东师范大学人工智能研究所常务副所长，上海市计算机学会人工智能专委会主任。博士毕业于清华大学，于 2004 年获微软学者称号，2007 年进入华东师范大学计算机科学技术系工作，曾在University College London，Rutgers University，Columbia University 从事访问研究。具体研究方向包括多视图学习，概率模型与近似推理，统计学习理论与核方法，机器学习在实际问题中的应用等。迄今发表学术论文 100 多篇，2020年出版中文教材《模式识别与机器学习》。担任国际著名期刊IEEE Transactions on Neural Networks and Learning Systems的副编辑、国际著名期刊Information Fusion的机器学习与模式识别领域编辑、第24届国际著名会议ICONIP 2017的程序委员会共同主席、中国计算机学会人工智能会议CCFAI 2021的共同出版主席。

个人主页：

https://faculty.ecnu.edu.cn/_s16/ssl/main.psp

Panel嘉宾：张正 (哈尔滨工业大学(深圳))

嘉宾简介：

张正，博士，哈尔滨工业大学(深圳) 计算机科学与技术学院助理教授。2018年在哈尔滨工业大学获得博士学位，获得中国电子学会优秀博士学位论文奖和哈尔滨工业大学优秀博士学位论文奖。曾在中国科学院自动化研究所、香港理工大学、澳大利亚昆士兰大学从事研究工作。从事机器学习、计算机视觉及多媒体分析领域的研究，已发表 IEEE/ACM汇刊或CCF推荐A类会议论文60余篇，2500+ Google Scholar引用，4篇论文入选ESI高被引论文，单篇最高引用超过800次。主持/参加国家自然科学基金、广东省基础研究基金、深圳市科技创新项目、技术攻关重点项目及企业横向项目等十余项。目前担任国际知名期刊 Information Processing & Management (中科院一区) 编委，担任多个JCR一区期刊客座编委，以程序委员会主席、出版主席等组委会核心成员组织了多个国际会议，担任多个CCF A类顶级会议的领域主席(Area Chair)和高级程序委员(Senior PC)以及多个顶级期刊评审。

个人主页：

http://faculty.hitsz.edu.cn/zhangzheng

Panel嘉宾：胡鹏 (四川大学)

嘉宾简介：

胡鹏，博士，四川大学副研究员。2019年毕业于四川大学并获得博士学位。2019至2020年在新加坡信息通信研究所（Institute for Infocomm., Research Agency for Science, Technology and Research (A*STAR)）担任研究员(Research Scientist)。主要研究兴趣是多视图学习与神经网络压缩，目前在CVPR，NeurIPS，SIGIR，ACM MM'，AAAI，TIP，TNNLS，TCYB等国际会议及期刊上发表论文20余篇。

个人主页：

https://penghu-cs.github.io/

主持人：张长青 (天津大学)

主持人简介：

张长青，天津大学智能与计算学部副教授、博士生导师。本科毕业于四川大学，博士毕业于天津大学。其主要研究方向为多模态机器学习。2017-2018年在北卡罗拉纳大学教堂山分校担任研究员。在IEEE TPAMI/IJCV/NeurIPS/ICLR等期刊和国际会议上发表论文90余篇，11篇论文单篇引用超过100次，4篇论文入选CVPR/NeurIPS口头报告或亮点论文，4篇论文入选ESI高被引论文，1篇论文入选ESI热点论文。Google Scholar引用3400余次。获得ICME最佳论文奖等重要国际会议论文奖4项。受邀为IEEE TPAMI、IJCV、CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR等多个国际高水平期刊及会议审稿（SPC/PC）。主持和参与多项国家自然基金面上项目/重点项目、国家重点研发计划项目。

个人主页：

http://cic.tju.edu.cn/faculty/zhangchangqing/index.html

特别鸣谢本次Webinar主要组织者：

主办AC：张长青 (天津大学)

协办AC：张正 (哈尔滨工业大学(深圳))

朱磊 [slide]

唐厂 [slide]