VALSE Webinar 20231206-32期 总第332期 三维大模型探索

报告嘉宾：欧阳万里 (上海人工智能实验室)

报告题目：迈向三维视觉大模型

报告嘉宾：白磊 (上海人工智能实验室)

报告题目：风乌 - 人工智能驱动的3D大气数据建模及应用

报告嘉宾：欧阳万里 (上海人工智能实验室)

报告时间：2023年12月6日 (星期三)晚上20:00 (北京时间)

报告题目：迈向三维视觉大模型

报告人简介：

欧阳万里，上海人工智能实验室领军科学家，负责人工智能驱动的交叉科学和通用三维视觉研究工作，曾任悉尼大学电子信息工程学院研究主任。其团队在ImageNet和COCO竞赛多次获得第一。两篇文章入选paperdigest CVPR/ ICCV最有影响力的文章。担任人工智能领域顶级期刊TPAMI和IJCV副编，CVPR 2023资深领域主席，AAAI2024、CVPR2021、ICCV2021领域主席。

个人主页：

https://wlouyang.github.io/

报告摘要：

人类智能的核心在于对三维世界的理解与认知。在追求通用人工智能的道路上，使计算机理解并模拟人类的三维空间感知是构建强人工智能的关键之一。它为广泛的三维相关视觉应用提供了坚实的基础。本次报告将介绍三维场景和以人为中心的大模型研究。在三维场景大模型方面，Ponder方法是一种基于三维渲染的三维表征学习方法。这一方法已被证实在室内外三维场景中同样有效，并且能够灵活地适应不同的输入模态与多样的三维感知和重建任务。以人为中心大模型系列研究提供以人为中心的数据集，并设计了支持二维三维时序以及多模态的人像的任务模型框架。利用3000w人像数据训练所得的模型不需下游任务微调即可在11个以人为中心的二维三维跨模态的测试集上达到目前学术界最高精度。

参考文献：

[1] Huang, Di, Sida Peng, Tong He*, Honghui Yang, Xiaowei Zhou, and Wanli Ouyang, Ponder: Point cloud pre-training via neural rendering, ICCV. 2023.

[2] Honghui Yang, Sha Zhang, Di Huang, Xiaoyang Wu, Haoyi Zhu, Tong He*, Shixiang Tang, Hengshuang Zhao, Qibo Qiu, Binbin Lin, Xiaofei He, Wanli Ouyang, UniPAD: A Universal Pre-training Paradigm for Autonomous Driving, arXiv. 2023.

[3] Haoyi Zhu, Honghui Yang, Xiaoyang Wu, Di Huang, Sha Zhang, Xianglong He, Tong He*, Hengshuang Zhao, Chunhua Shen, Yu Qiao, Wanli Ouyang, PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm, arXiv. 2023.

[4] Shixiang Tang, Cheng Chen, Qingsong Xie, Meilin Chen, Yizhou Wang, Yuanzheng Ci, Lei Bai, Feng Zhu, Haiyang Yang, Li Yi, Rui Zhao, Wanli Ouyang, HumanBench: Towards General Human-centric Perception with Projector Assisted Pretraining, CVPR 2023.

[5] Yuanzheng Ci, Yizhou Wang, Meilin Chen, Shixiang Tang, Lei Bai, Feng Zhu, Rui Zhao, Fengwei Yu, Donglian Qi, Wanli Ouyang, UniHCP: A Unified Model for Human-Centric Perceptions, CVPR 2023.

[6] Weizhen He, Shixiang Tang, Yiheng Deng, Qihao Chen, Qingsong Xie, Yizhou Wang, Lei Bai, Feng Zhu, Rui Zhao, Donglian Qi, Wanli Ouyang, Yunfeng Yan, Retrieve Anyone: A General-purpose Person Re-identification Task with Instructions, Arxiv 2023.

报告嘉宾：白磊 (上海人工智能实验室)

报告时间：2023年12月6日 (星期三)晚上20:30 (北京时间)

报告题目：风乌 - 人工智能驱动的3D大气数据建模及应用

报告人简介：

白磊，上海人工智能实验室青年科学家，AI4Earth团队负责人。博士毕业于新南威尔士大学 (QS Rank世界前20)，其后于悉尼大学任博士后研究员。主要研究方向为时空生成智能及其在地球科学领域 (如全球气象气候预测)的应用。已在Nature子刊、IEEE TPAMI、NeurIPS、CVPR、KDD等人工智能领域顶级期刊会议发表学术论文60余篇，并长期担任相关期刊会议的审稿人或程序委员会委员。谷歌学术论文引用1800余次。主导研发的风乌气象大模型首次将全球中期气象预报可用性提高到10天以上，计算效率较传统方法提高2000倍以上，被新华社、人民网、中国新闻周刊、环球时报等主流媒体报道。基于其研究工作入选国家及上海市人才计划，获2022年世界人工智能大会云帆奖、2020年新南威尔士大学工程研究卓越奖、2019年谷歌博士奖学金等。

个人主页：

http://leibai.site/

报告摘要：

理解并预测地球系统尤其是大气系统是人类自古以来的追求。作为基础技术，气象预报对农林牧渔、能源电力、航空航海等各行业都提供了不可或缺的支撑作用。由于全球大气系统的高度复杂性，准确的气象预报离不开对从地表到高空3D全球大气数据的精确高效建模。本次报告将介绍全球中期气象预报大模型–“风乌”，不同于现有基于物理模拟的气象预报系统，风乌采用人工智能方法建模全球3D大气资料，在计算效率提高2000倍以上的条件下，显著提高了对各层次多种核心大气要素的预测精度，推动全球中期气象预报有效时效提高到10天以上，并显著提升了对台风等极端气象的预报能力。

参考文献：

[1] Chen, Kang, Tao Han, Junchao Gong, Lei Bai, Fenghua Ling, Jing-Jia Luo, Xi Chen et al. FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead. arXiv preprint arXiv:2304.02948 (2023).

主持人：盛律 (北京航空航天大学)

主持人简介：

盛律，博导，北京航空航天大学 “卓越百人” 特别副研究员 (副教授)，入选北航青年拔尖计划。CCF-CV/ CSIG-3DV/ MV专委会执行委员，VALSE执行领域主席。2011年获浙江大学学士学位，2017年获香港中文大学博士学位。同年加入香港中文大学MMLab从事博士后研究。2019年入职北京航空航天大学软件学院。主要研究方向为三维视觉，特别是三维理解、推理和生成。在TPAMI/ IJCV/ TIP以及CVPR/ ICCV/ ECCV等重要国际期刊和会议发表论文50余篇, Google Scholar显示被引用数超4000次。现任ACM Computing Surveys副编，CVPR 2024和ACM Multimedia 2024领域主席。多次参与组织国际会议研讨会和竞赛。主持或参与多项国家自然科学基金、科技部重点研发计划和省部级重点研发计划项目。

个人主页：

https://lucassheng.github.io

特别鸣谢本次Webinar主要组织者：

主办AC：盛律 (北京航空航天大学)

协办AC：李冠彬 (中山大学)