VALSE Webinar 20230920-25期 总第325期 复杂场景下的多模态感知学习 ...

报告嘉宾：胡迪 (中国人民大学)

报告题目：平衡多模态学习

报告嘉宾：朱磊 (山东师范大学)

报告题目：开放环境下的跨模态检索

报告嘉宾：胡迪 (中国人民大学)

报告时间：2023年09月20日 (星期三)晚上20:00 (北京时间)

报告题目：平衡多模态学习

报告人简介：

胡迪，现任中国人民大学高瓴人工智能学院准聘副教授，博导，受中国科协青年人才托举工程资助。主要研究方向为机器多模态感知与学习，以主要作者身份在领域顶级国际会议及期刊上发表论文30余篇，如TPAMI、NeurIPS、CVPR、ICCV、ECCV等。攻博期间曾入选 CVPR Doctoral Consortium；荣获2020中国人工智能学会优博奖，2021陕西省优博奖；荣获2022年度吴文俊人工智能优秀青年奖；入选中国人民大学“杰出学者”计划，百度全球顶尖人工智能人才计划等。受邀为多个国际高水平会议及期刊审稿，担任AAAI、IJCAI SPC/ Session Chair等，并主办/ 协办多场国际顶级会议的多模态学习讲习班 (Tutorial)。

报告摘要：

“总体大于部分之和”是认知神经科学家在大脑上丘细胞中发现的有趣现象。即，联合了视觉、听觉和躯体感觉的刺激反应要大于这三种刺激单独呈现时的反应。在多模态机器学习中，我们也常常会引入额外的模态来提升既有任务的性能，如RGB-D场景识别，视-音频语音识别和RGB-光流动作识别等。但近年来的研究发现，现有联合学习范式忽略了不同模态数据的异质特性，使得模型对每个模态数据的利用程度存在较为严重的不平衡，只有个别模态被充分学习，阻碍了多模态学习的潜力，甚至会带来“1+1<1”的灾难性后果。在本次报告中，我将从多模态数据在模型架构、优化、损失等方面的差异入手，介绍在平衡多模态学习方面的工作，并进一步对如何提升多模态合作质量展开相关的理论工作介绍。

报告嘉宾：朱磊 (山东师范大学)

报告时间：2023年09月20日 (星期三)晚上20:30 (北京时间)

报告题目：开放环境下的跨模态检索

报告人简介：

朱磊，山东师范大学教授，博士生导师。主要研究方向是跨模态分析与检索。共发表CCF A类会议长文、ACM/IEEE汇刊论文百余篇，主编学术专著2部，ESI高被引论文8篇，Google引用6600多次。获得CCF A类会议ACM SIGIR 2019和ACM MM 2019的最佳论文提名，CCF C类会议ADMA 2020最佳论文奖，ChinaMM 2022最佳学生论文奖，1篇论文入选2019年中国百篇最具影响国际学术论文，拥有授权专利22件。担任ACM TOMM、IEEE TBD、Information Sciences等多个国际期刊的编委 (Associate Editor)，任多媒体领域权威国际会议ACM MM的领域主席 (Area Chair)，SIGIR/ CIKM/ AAAI资深程序委员会委员 (SPC)，CSIG青年工作委员会副秘书长。主持/ 参与基金委青年/ 面上/ 重点等10余项横纵课题。获得ACM中国SIGMM新星奖，中国自动化学会优秀硕士生导师奖、山东省留学回国人员创业奖、CSIG青工委优秀服务奖等。

主持人：武宇 (武汉大学)

主持人简介：

武宇，武汉大学计算机学院教授，博士生导师，入选国家高层次青年人才项目。回国前在美国普林斯顿大学任博士后研究员，研究方向为多模态学习、理解与生成。曾获2020年谷歌博士奖研金 (Google PhD Fellowship)。过去三年在计算机视觉顶级会议CVPR主办的比赛中累计共获得6次国际学术竞赛的冠军（包括ActivityNet、EPIC- Kitchens、YouTube-VOS等），击败了来自牛津大学等顶级研究机构的几十支参赛队伍。担任人工智能顶会CVPR、NeurIPS领域主席，同时担任计算机视觉顶会CVPR 2023大会主席团成员、Workshop主席。

个人主页：

https://yu-wu.net

特别鸣谢本次Webinar主要组织者：

主办AC：武宇 (武汉大学)