VALSE Webinar 20240403-09期 总第343期 以人为中心的生成、感知与决策 ...

报告嘉宾：晏轶超 (上海交通大学)

报告题目：三维数字人的重建、编辑与驱动研究

报告嘉宾：唐诗翔 (香港中文大学)

报告题目：Recent Progress in Human-centric Perception Foundation Models: Datasets, Pretraining and Unified Frameworks

Panel嘉宾：

张平平 (大连理工大学)、晏轶超 (上海交通大学)、唐诗翔 (香港中文大学)、郑良 (Australian National University)、叶茫 (武汉大学)

Panel议题：

1. 以人为中心的基础模型已经取得了巨大的进展，目前的技术还有哪些不足或难点？哪些方向需要继续深挖和提升？

2. 目前工业界对以人为中心的视觉任务有什么本质的技术需求？有必要把所有的和人相关的任务都统一在一起吗？现有的模型对算力和数据的要求高，学术圈还有什么途径可以提高研究的价值和意义？

3. 视觉-语言大模型的推理能力在逐步变得更强，以人为中心的视觉任务是否会在大模型下变得更容易解决，甚至不需要研发新的模型？如何保证隐私信息不泄露？ 

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：晏轶超 (上海交通大学)

报告时间：2024年4月3日 (星期三)晚上20:00 (北京时间)

报告题目：三维数字人的重建、编辑与驱动研究

报告人简介：

晏轶超，上海交通大学人工智能研究院助理教授，博士生导师。获上海交通大学电子工程系学士、博士学位，法国里昂中央理工学院硕士学位，曾担任阿联酋起源人工智能研究院研究科学家。主要研究方向为计算机视觉、图形学技术及其在虚拟现实、数字多媒体中的应用，发表包括TPAMI、CVPR、NeurIPS在内的国际高水平论文20余篇，Google Scholar 引用超过1800次，担任TPAMI、IJCV、CVPR、ICCV等十余个国际顶级会议与期刊审稿专家。先后主持国家自然科学基金青年项目、CCF-阿里巴巴青年科学家基金等项目5项。曾入选上海市海外高层次人才计划，获2020年度中国图象图形学学会优秀博士论文奖。

个人主页：

https://daodaofr.github.io/

报告摘要：

面对大规模三维数字人的生产需求， 基于传统图形学的建模过程繁琐、周期冗长，阻碍了虚拟数字人的普及和应用，而利用生成式人工智能技术产生高拟真，规模化的虚拟数字人正逐渐成为研究热点。预计到2025年，人工智能产生的数据将占所有新生数据的10%。如何利用生成式人工智能技术生成虚拟数字人，存在哪些技术难点，本次报告将介绍课题组在数字人建模领域的最近进展。

参考文献：

[1] Xingyu Ren, Jiankang Deng, Chao Ma, Yichao Yan, Xiaokang Yang, "Improving Fairness in Facial Albedo Estimation via Visual-Textual Cues", CVPR 2023.

[2] Yuhao Cheng, Zhuo Chen, Xingyu Ren, Wenhan Zhu, Zhengqin Xu, Di Xu, Changpeng Yang, Yichao Yan, "3D-Aware Face Editing via Warping-Guided Latent Direction Learning", CVPR 2024

[3] Liang Xu, Yizhou Zhou, Yichao Yan， Xin Jin, Wenhan Zhu, Fengyun Rao, Xiaokang Yang, Wenjun Zeng, "ReGenNet: Towards Human Action-Reaction Synthesis", CVPR 2024

[4] Liang Xu, Xintao Lv, Yichao Yan, Xin Jin, Shuwen Wu, Congsheng Xu, Yifan Liu, Yizhou Zhou, Fengyun Rao, Xingdong Sheng, Yunhui Liu, Wenjun Zeng, Xiaokang Yang, "Inter-X: Towards Versatile Human-Human Interaction Analysis", CVPR 2024

报告嘉宾：唐诗翔 (香港中文大学)

报告时间：2024年4月3日 (星期三)晚上20:40 (北京时间)

报告题目：Recent Progress in Human-centric Perception Foundation Models: Datasets, Pretraining and Unified Frameworks

报告人简介：

Shixiang Tang received the Ph.D degree from the University of Sydney. Prior to that, he received the Master of Philosophy from the Chinese University of Hong Kong in 2018 and Bachelor of Science from Fudan University. His interests lie in machine learning and computer vision, especially self-supervised learning and foundation models. He has published about 10 papers in top-tier conferences and journals, e.g., CVPR, ICCV, NeurIPS and ICLR. He received CVPR Doctoral Consortium Award and Faculty of Engineering Career Advancement Award.

个人主页：

https://scholar.google.com/citations?user=TJ4ihdkAAAAJ&hl=zh-CN

报告摘要：

Human-Centric perception tasks, e.g., person re-identification, pose estimation, human parsing, and action recognition, have been long research focus in computer vision, because of their wide applications. Previous state-of-the-art methods focus on designing special architectures or objective functions for individual human-centric task, ignoring the inherent correlations among these human-centric tasks. In the recent two years, researchers started to study these human-centric tasks from the respective of human-centric foundation models. This talk will review the datasets, the pretraining methods and unified architectural designs in developing multimodal human-centric foundation models. We hope this talk can shed light on new research directions on human-centric foundation models.

参考文献：

[1] Wang Y, Wu Y, Tang S, et al. Hulk: A Universal Knowledge Translator for Human-Centric Tasks[J]. arXiv preprint arXiv:2312.01697, 2023.

[2] Weizhen He, Yiheng Deng, Shixiang Tang, Qihao Chen, Qingsong Xie, Yizhou Wang, Lei Bai, Feng Zhu, Rui Zhao, Wanli Ouyang, Donglian Qi, Yunfeng Yan, "Instruct-ReID: A Multi-purpose Person Re-identification Task with Instructions," CVPR 2024.

[3] Tang S, Chen C, Xie Q, et al. Humanbench: Towards General Human-centric Perception with Projector Assisted Pretraining. CVPR 2023

[4] Ci Y, Wang Y, Chen M, et al. Unihcp: A Unified Model for Human-centric Perceptions. CVPR 2023.

Panel 嘉宾：郑良 (Australian National University)

嘉宾简介：

Dr Liang Zheng is an Associate Professor (tenured) in the Australian National University. He is best known for his contributions in object re-identification, and his recent research interest is data-centric computer vision, where improving leveraging, analysing and improving data are the of primary concern. He is a co-organiser of the AI City workshop series at CVPR and vision datasets understanding workshops at CVPR. He regularly serves as an Area Chair for leading conferences, and a Program Co-Chair for ACM Multimedia 2024 and AVSS 2024. He received his B.S degree (2010) and Ph.D degree (2015) from Tsinghua University, China.

个人主页：

http://zheng-lab.cecs.anu.edu.au/

Panel 嘉宾：叶茫 (武汉大学)

嘉宾简介：

叶茫，武汉大学计算机学院教授、博士生导师，国家高层次青年人才，中国科协青年托举人才，湖北省高层次人才。曾任阿联酋起源人工智能研究院研究科学家，美国哥伦比亚大学访问学者。主要研究方向计算机视觉、多模态理解、联邦学习等，以第一/ 通讯作者发表 CCF-A 类论文50 余篇，谷歌学术引用 7000 余次。多次受邀担任CVPR、ACM MM、ECCV领域主席等学术职务。主持国自科-香港联合基金、国自科面上项目等科研项目。获谷歌优秀奖学金、2021-2023年斯坦福排行榜 “全球前2%顶尖科学家”、百度AI华人青年学者等荣誉。

个人主页：

https://marswhu.github.io/index.html

主持人：张平平 (大连理工大学)

主持人简介：

张平平，大连理工大学未来技术学院/人工智能学院副教授，研究方向为计算机视觉与深度学习。在领域内的国际顶级会议和期刊 (如CVPR/ ICCV/ ECCV/ TPAMI/ TIP/ TOG等)上发表论文60余篇，目前谷歌学术引用4600余次。主持或参与国家重点研发、国家自然科学基金、省部级基金/ 开放课题等多项科研项目。目前为CSIG多媒体专委会、CCF视觉专委会委员，担任多个国际顶级学术期刊和会议审稿人或领域主席，国内盛会VALSE第六、七届执行领域主席。曾获得辽宁省自然科学二等奖，2020年度中国图象图形学会优秀博士论文、辽宁省优秀博士论文等。

个人主页：

http://faculty.dlut.edu.cn/zhangpingping/zh_CN/index.htm

特别鸣谢本次Webinar主要组织者：

主办AC：张平平 (大连理工大学)