VALSE Webinar 20221019-27期 总第294期 特邀报告：通用感知模型研究 ...

特邀报告嘉宾：代季峰 (清华大学)

报告题目：通用感知模型研究

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

特邀报告嘉宾：代季峰 (清华大学)

报告时间：2022年10月19日 (星期三)晚上20:00 (北京时间)

报告题目：通用感知模型研究

报告人简介：

代季峰博士，在清华大学自动化系于2009年和2014年分别获得学士和博士学位。2012年至2013年间，他在加州大学洛杉矶分校访学。2014年至2019年间，他在微软亚洲研究院 (MSRA)视觉组工作，曾担任首席研究员、研究经理。2019年至2022年，他在商汤科技研究院工作，担任基础视觉、通用智能两个二级部门负责人，执行研究总监。他的研究兴趣为计算机视觉中的通用物体识别算法和跨模态通用感知算法。他在领域顶级会议和期刊上发表了50多篇论文，根据谷歌学术统计获得了20000多次引用。他于2015、2016年获得领域权威的COCO物体识别竞赛一等奖，后续历届冠军系统也均使用了他提出的可变形卷积模块。他在商汤科技工作期间，曾经担任本田-商汤自动驾驶研发项目的技术负责人。他是IJCV的编委，CVPR 2021和ECCV 2020的领域主席，ICCV 2019的公共事务主席，AAAI 2018的高级PC成员，北京智源人工智能研究院的青年科学家。

个人主页：

https://jifengdai.org/

报告摘要：

构建一个如人脑一样能同时处理多模态多任务的通用感知模型一直是AI研究领域的重要追求目标。近来已有多个通用感知模型被相继提出，如商汤提出的Uni-Perceiver、阿里提出的OFA、Deepmind提出的Gato等。通用感知模型将各式任务建模成一个统一的范式，并在多模态多任务上进行大规模预训练，使其不但可以使用同一套模型权重完成各式不同任务，还能不引入任何新参数在全新任务上进行零样本推理。尽管通用感知模型在任务通用性方面已经取得了长足进步，但是相比于专注特定任务而训练的模型，通用感知模型往往在一些任务上有着性能下降的现象。这是由于通用感知模型在不同任务之间共享参数，而不同任务在优化过程中会存在梯度不一致性，这将会导致模型权重更新的最优方向不确定，从而使得网络最终性能的下降。本次报告将介绍我们在这个方向的探索，既Uni-Perceiver系列工作，我们首次将多专家模型MoE应用到了通用感知模型中。实验结果表明MoE能够在引入较小的计算成本时有效去除通用感知模型中的任务干扰，在从未见过的新任务上面仍然保持着不错的zero-shot推理能力。

主持人：夏勇 (西北工业大学)

主持人简介：

夏勇，西北工业大学计算机学院教授，研究方向为医学影像智能计算，近3年在IEEE-TPAMI/ TMI/ TIP/ JBHI/ MedIA/ NeurIPS/ CVPR/ IJCAI/ MICCAI等本领域顶级期刊/ 会议发表学术论文40余篇，论文被引用7200余次 (Google Scholar)，先后在ISBI 2019 C-NMC、PROMISE12、BraTS 2020/ 2021、MyoPS 2020、COVID-19 2020、KiTS21、COSMOS 2022、KiPA2022等国际学科竞赛中名列前茅；担任中国体视学学会理事、中国图象图形学学会视觉大数据专委会常委、中国抗癌协会肿瘤影像专业委员会人工智能学组副组长等，先后担任MICCAI 2019地区主席和IBSI2017/ MICCAI 2020分会主席等。

个人主页：

https://teacher.nwpu.edu.cn/yongxia.html

特别鸣谢本次Webinar主要组织者：

主办AC：夏勇 (西北工业大学)