20211229-35 总第264期 基于神经表示的三维建模与渲染

报告嘉宾：许岚 (上海科技大学)

报告题目：基于神经网络的人体动态捕捉与渲染

报告嘉宾：顾佳涛 (Facebook AI Research)

报告题目：Neural Implicit Representation and Rendering

Panel嘉宾：

许岚 (上海科技大学)、顾佳涛 (Facebook AI Research)、贾荣飞 (阿里巴巴)、崔兆鹏 (浙江大学)

Panel议题：

1. 为什么NeRF这类神经建模与渲染方法关注度高？它解决了传统方法的哪些局限？

2. 从学术研究的角度，该方向的发展趋势是什么？还有哪一些值得关注的问题？

3. 从工业界应用的角度，是否已经有落地的应用？还存在哪些局限性？

4. 神经建模与渲染与传统图形技术的关系？是互补还是取代？

5. 元宇宙的概念很火，对于视觉与学习的研究者，有哪些机会？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：许岚 (上海科技大学)

报告时间：2021年12月29日 (星期三)晚上20:00 (北京时间)

报告题目：基于神经网络的人体动态捕捉与渲染

报告人简介：

许岚，上海科技大学信息科学与技术学院助理教授、研究员、博士生导师。在浙江大学信息与电子工程学系获学士学位；在香港科技大学电子与计算机工程获博士学位，后加入上海科技大学任教至今。他的研究方向包括计算机视觉、计算机图形学和计算摄像学，研究兴趣侧重于动静态三维重建、虚拟现实、数字孪生，终极目标是实现个人数字资产化和沉浸式全息立体通信。他已发表了多篇顶级期刊和会议文章，包括CVPR、ECCV、ICCV、ICCP、SIGGRAPH、IEEE TRO、IEEE TVCG、IEEE TPAMI等。

个人主页：

http://xu-lan.com/

报告摘要：

人体对象是视觉场景信息中最重要的部分，其中以人为中心的动态场景重建和高真实感渲染至关重要，可应用于全息三维影像通信、人工现实、行为分析、影视娱乐游戏等。近年来随着深度学习和神经表示技术的发展，轻量级的高质量人体动态重建取得了突破性进展，并且随着5G网络和虚拟数字人需求的蓄势待发，其需求也变得越发迫切。本报告回顾了近年来基于神经表示的人体动态重建和渲染技术的发展，重点探讨基于神经辐射场和渲染技术来实现快速、轻量级和高精度的人体三维重建，最后展望神经建模对计算机视觉和图形的影响和人体三维重建未来的发展方向。

参考文献：

[1] NeuralHumanFVV:Real-Time Neural Volumetric Human Performance Rendering Using RGB Cameras.

[2] Editable free-viewpoint video using a layered neural representation.

[3] HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs.

报告嘉宾：顾佳涛 (Facebook AI Research)

报告时间：2021年12月29日 (星期三)晚上20:30 (北京时间)

报告题目：Neural Implicit Representation and Rendering

报告人简介：

Jiatao Gu is currently a research scientist at Meta AI (FAIR). He obtained his Ph.D. degree in 2018 under the supervision of Prof. Victor Li at The University of Hong Kong, His doctoral work explores efficient neural machine translation systems. Before that, he received his bachelor’s degree in 2014 from Tsinghua University. At Meta, his research interests cover natural language processing (especially machine translation), 3D-aware computer vision, and multi-modal learning. He mainly focuses on efficient learning algorithms that enable modeling and generating real-world content in real-time, for instance, non-autoregressive machine translation.

个人主页：

http://jiataogu.me/

报告摘要：

Photo-realistic free-view image synthesis is a long-standing problem and plays a critical role in understanding real-world scenes. Traditional graphics pipeline requires production-quality 3D models, computationally expensive rendering, and manual work. Recent studies have demonstrated promising results by representing scenes as implicit fields using neural networks that can learn geometry and appearance without explicit 3D supervision. However, such approaches suffer from slow inference speed, low-quality geometry reconstruction, and lack of generalization. In this talk, I will first briefly introduce neural radiance fields (NeRF)and their limitations. Then, I will present several our recent improvements on implicit representations including NSVF, VolSDF, and StyleNeRF – tackling the aforementioned issues, respectively. Lastly, I will discuss future directions in my research which aims to improve implicit representation learning and make connections for language and multi-modal learning.

参考文献：

[1] Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020, August). Nerf: Representing scenes as neural radiance fields for view synthesis. In European conference on computer vision (pp. 405-421). Springer, Cham.

[2] Liu, L., Gu, J., Zaw Lin, K., Chua, T. S., & Theobalt, C. (2020). Neural Sparse Voxel Fields. Advances in Neural Information Processing Systems, 33.

[3] Liu, L., Habermann, M., Rudnev, V., Sarkar, K., Gu, J., & Theobalt, C. (2021). Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control. SIGGRAPH ASIA 2021.

[4] Yariv, L., Gu, J., Kasten, Y., & Lipman, Y. (2021, May). Volume rendering of neural implicit surfaces. In Thirty-Fifth Conference on Neural Information Processing Systems.

[5] Gu, J., Liu, L., Wang, P., & Theobalt, C. (2021). StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis. arXiv preprint arXiv:2110.08985.

Panel嘉宾：贾荣飞 (阿里巴巴)

嘉宾简介：

贾荣飞，阿里巴巴大淘宝技术3D算法负责人，北京航空航天大学计算机系博士毕业。目前专注于3D人工智能研究，实现了自动化商品三维重建，真实户型自动化布局生成及智能搭配生成，在3D技术与电商领域结合应用方面有许多经验，在NeurIPS、ICCV、KDD等学术会议发表多篇论文，曾获chinagraph首届开源数据集奖。

Panel嘉宾：崔兆鹏 (浙江大学)

嘉宾简介：

崔兆鹏，浙江大学计算机学院CAD&CG国家重点实验室“百人计划”研究员、博士生导师。2017年在加拿大西蒙弗雷泽大学获得博士学位。2017年至2020年在瑞士苏黎世联邦理工学院计算机视觉和几何实验室任高级研究员。研究方向为三维计算机视觉，具体包括三维重建、运动恢复结构、多视角立体几何、三维场景理解、同时定位与地图构建、视频图像编辑等。近年来在计算机视觉、机器人、计算机图形学、机器学习等领域的顶级期刊和会议上发表论文30余篇，曾获ICRA 2020机器视觉最佳论文提名和IROS 2021最佳安全、安保和救援机器人最佳论文提名。

个人主页：

https://zhpcui.github.io/

报告主持人：韩晓光 (香港中文大学(深圳))

主持人简介：

韩晓光，现任香港中文大学 (深圳)助理教授，校长青年学者，2009年本科于南京航空航天大学毕业，2011年获得浙江大学应用数学系硕士学位，2011年至2013年于香港城市大学创意媒体学院任研究助理，之后于2017年获得香港大学计算机科学专业博士学位。其研究方向包括计算机视觉和计算机图形学等，在该方向著名国际期刊和会议发表论文近50余篇，包括顶级会议和期刊SIGGRAPH (Asia), CVPR, ICCV, ECCV, NeurIPS, ACM TOG, IEEE TPAMI等。他的工作DeepFashion3D曾获得CCF图形开源数据集奖，计算机图形学顶级会议Siggraph Asia 2013新兴技术最佳演示奖，2019年和2020年连续两年计算机视觉顶级会议CVPR最佳论文列表 (入选率分别为0.8%和0.4%)，入选2021腾讯AI Lab犀牛鸟专项研究计划，IEEE VR 2021 最佳论文荣誉提名。

个人主页：

https://mypage.cuhk.edu.cn/academics/hanxiaoguang/

Panel主持人：周晓巍 (浙江大学)

主持人简介：

周晓巍，浙江大学“百人计划”研究员、博士生导师。2008年本科毕业于浙江大学，2013年博士毕业于香港科技大学，2014至2017年在宾夕法尼亚大学 GRASP 机器人实验室从事博士后研究。2017年入选国家级青年项目并加入浙江大学。研究方向主要为三维视觉、图形学及其在混合现实、机器人等领域的应用。相关工作多次入选计算机视觉顶级会议CVPR的最佳论文候选 (<0.5%)，并被麻省理工科技评论等知名媒体报道。曾获得“陆增镛CAD&CG高科技奖”一等奖，中国计算机学会CAD&CG图形开源贡献奖。担任计算机视觉顶级期刊International Journal of Computer Vision编委、顶级会议CVPR21/ICCV21领域主席。

特别鸣谢本次Webinar主要组织者：

主办AC：周晓巍 (浙江大学)、韩晓光 (香港中文大学(深圳))

许岚  [slide]