20200624-16 点云深度学习：多一维看世界

报告时间：2020年06月24日（星期三）晚上20:00（北京时间）

主题：点云深度学习：多一维看世界

主持人：樊彬（北京科技大学）

报告嘉宾：高林（中科院计算所）

报告题目：3D模型的深度学习表示和应用

报告嘉宾：史少帅（香港中文大学）

报告题目：深度学习在点云3D目标检测中的应用

Panel议题：

1. 点云深度学习的很多任务和图像理解一致，也是分类、分割、检测等，它与现有的图像域深度学习的主要区别在哪？有何联系？点云深度学习要解决的核心问题是什么？

2. 针对相同的任务，例如目标检测、语义分割，点云深度学习的SOTA与图像深度学习的SOTA，哪个更接近实用？多一维度看世界，点云是否可以做得更好？目前有哪些因素限制了点云处理技术的发展？

3. 三维点云深度学习技术对标注数据的需求如何？三维点云是否存在类似图像领域的ImageNet、COCO等大规模benchmark？

4. 三维计算机视觉有一套成熟的理论基础，也就是多视角几何学，三维点云深度学习与多视角几何学目前有什么结合点吗？相对于传统的图像深度学习，三维点云深度学习是否具备更多的理论可供挖掘？三维点云深度学习的可解释性如何？

5. 三维数据的主要表现形式有点云、体素、网格，哪种形式更适合三维深度学习？不同的应用对这些数据形式有没有选择性？相对于点云深度学习，其他数据形式的三维深度学习技术研究现状如何？

6. 三维视觉技术在工业界的应用情况如何？有没有杀手级的应用需求？三维视觉技术从学术界到工业界需要跨越的困难有哪些？

Panel嘉宾：

高林（中科院计算所）、李鸿升（香港中文大学）、章国锋（浙江大学）、郭裕兰（国防科技大学）、盛律（北京航空航天大学）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：高林（中科院计算所）

报告时间：2020年6月24日（星期三）晚上20:00（北京时间）

报告题目：3D模型的深度学习表示和应用

报告人简介：

高林，现任中科院计算所博士生导师，计算所数研院智能图形计算研究中心主任，研究方向为数字几何处理、计算机图形学、深度学习等，于清华大学毕业获得工学博士学位, 曾在德国亚琛工业大学进行访问研究。其入选英国皇家学会牛顿高级学者、中科院青促会和中国科协青年人才托举工程，并获得中国计算机学会科学技术奖技术发明一等奖，中国仿真学会科技进步一等奖等奖励。

个人主页：

http://www.geometrylearning.com/cn/

报告摘要：

随着深度学习技术的进展，如何通过深度学习对三维数据进行学习并提高几何处理方法的智能性成为近期研究工作的热点。点云、体素和网格是3D模型的最主要的三种表示方法，其中点云表示适合分割和分类的视觉任务，网格表示适合高质量三维建模的图形计算。针对点云分割和表示，我们研究了点云分割识别网络VV-NET；基于体素表示，我们研究了3D模型的无监督的对称性学习方法PRS-NET；为了对3D数据进行高质量的表示和合成，我们研究了一套基于变形的三维数据表示方法（ACAP），并以此研究如何在变形模型序列上定义卷积。基于此，研究了如何使用自编码器对模型序列进行全局和局部的分析（MeshVAE）并进行全自动的变形传播（VC-GAN）。基于上述深度变形表示方法，我们进一步研发了可以生成精细几何模型的深度生成网络SDM-NET。同时，我们还将SDM-NET的研究思路推广到了人脸合成的研究方面，研发了智能人脸画板的工作DeepFaceDrawing。

参考文献：

[1] SDM-NET: Deep Generative Network for Structured Deformable Mesh. Lin Gao, Jie Yang, Tong Wu, Yu-Jie Yuan, Hongbo Fu, Yu-Kun Lai, Hao (Richard) Zhang. ACM Transactions on Graphics (SIGGRAPH ASIA 2019), 2019, 38(6), 243:1-243:15

[2] VC-GAN (VAE CYCLE GAN): Automatic Unpaired Shape Deformation Transfer. Lin Gao, Jie Yang, Yi-Ling Qiao, Yu-Kun Lai, Paul Rosin, Weiwei Xu, Shihong Xia, ACM Transactions on Graphics (SIGGRAPH ASIA 2018), 2018, 37(6), 237:1-237:15

[3] ACAP: Sparse Data Driven Mesh Deformation. Lin Gao, Yu-Kun Lai, Jie Yang, Ling-Xiao Zhang, Shihong Xia, Leif Kobbelt. IEEE Transactions on Visualization and Computer Graphics, 2019, To Appear

[4] PRS-Net: Planar Reflective Symmetry Detection Net for 3D Models. Lin Gao, Ling-Xiao Zhang, Hsien-Yu Meng, Yi-Hui Ren, Yu-Kun Lai, Leif Kobbelt. IEEE Transactions on Visualization and Computer Graphics，To Appear

[5] DeepFaceDrawing: Deep Generation of Face Images from Sketches. Shu-Yu Chen#, Wanchao Su#, Lin Gao*, Shihong Xia, Hongbo Fu. ACM Transactions on Graphics (SIGGRAPH 2020), 2020, 39(4),72:1-72:16

[6] VV-Net: Voxel VAE Net with Group Convolutions for Point Cloud Segmentation. Hsien-Yu Meng, Lin Gao*, Yu-Kun Lai, Dinesh Manocha. International Conference in Computer Vision (ICCV), 2019.

报告嘉宾：史少帅（香港中文大学）

报告时间：2020年6月24日（星期三）晚上20:30（北京时间）

报告题目：深度学习在点云3D目标检测中的应用

报告人简介：

史少帅，香港中文大学多媒体实验室博士生，研究方向为计算机视觉与深度学习，主要从事深度学习在3D点云场景理解方面的研究。在基于点云的3D目标检测方向发表的PointRCNN等若干工作探索了在不规则点云上进行3D检测的多种方案，显著提升了现有算法的性能。在IEEE TPAMI、CVPR、ECCV、ICRA、ICLR等国际期刊和会议上发表多篇论文。其开源的PointRCNN代码框架是最早的基于纯点云的3D检测框架之一，开源的PCDet通用3D目标检测代码库亦支持多种高性能的最新算法和数据集。

个人主页：

https://sshaoshuai.github.io/

报告摘要：

3D目标检测算法在自动驾驶和机器人领域有着广阔的应用前景，最近正在受到越来越多来自工业界和学术界的关注。其中，基于LiDAR点云的3D目标检测方向由于其简单实用的特性，吸引了大量研究员在专注于该方向的算法研究。本次报告将介绍我们在基于点云的3D目标检测方向的研究进展，包括多种点云表征学习方式和其对应的不同3D目标检测算法，以及介绍我们最新的点云检测代码框架。

参考文献：

[1] PointRCNN: 3D object proposal generation and detection from point cloud, Shaoshuai Shi, Xiaogang Wang, Hongsheng Li, CVPR 2019.

[2] From Points to Parts: 3D object detection from point cloud with part-aware and part-aggregation network, Shaoshuai Shi, Zhe Wang, Jianping Shi, Xiaogang Wang, Hongsheng Li, TPAMI 2020.

[3] PV-RCNN: Point-Voxel feature set abstraction for 3D object detection, Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, Hongsheng Li, CVPR 2020.

Panel嘉宾：李鸿升（香港中文大学）

嘉宾简介：

李鸿升，现任香港中文大学多媒体实验室助理教授。他于2012年毕业于美国理海大学，获得计算机专业博士学位，2013-2015年任电子科技大学副教授，2015年-2018年任香港中文大学研究助理教授，2018年至今任香港中文大学助理教授。他的研究方向集中在深度学习、计算机视觉以及医疗图像理解，在CVPR、ICCV、ECCV、NeurIPS、MICCAI等会议发表论文60余篇，Google Scholar引用8900余次。2015年、2016年参加ImageNet挑战赛，连续两届获得视频物体检测项目冠军。论文获得IEEE电路与系统协会2020年Outstanding Young Author Award。现担任Neurocomputing副编辑，也曾任International Journal of Computer Vision的客座编辑。

个人主页：

http://www.ee.cuhk.edu.hk/~hsli/

Panel嘉宾：章国锋（浙江大学）

嘉宾简介：

章国锋，博士，浙江大学计算机科学与技术学院教授，博士生导师，国家优秀青年科学基金获得者。主要从事三维视觉与增强现实方面的研究，尤其在同时定位与地图构建和三维重建方面取得了一系列重要成果，研制了一系列相关软件，如 ACTS、LS-ACTS、RDSLAM、RKSLAM等 ( http://www.zjucvg.net  )，并开源了基于非连续特征跟踪的大尺度运动恢复结构系统 ENFT-SfM、分段集束调整SegmentBA 和高效的增量式集束调整 EIBA、ICE-BA 等算法的源代码 ( https:// github.com/zju3dv/ )。获全国百篇优秀博士学位论文奖、计算机学会优秀博士学位论文奖以及教育部高等学校科学研究优秀成果奖科学技术进步奖一等奖(排名第 4)。

个人主页：

http://www.cad.zju.edu.cn/home/gfzhang

Panel嘉宾：郭裕兰（国防科技大学）

嘉宾简介：

郭裕兰，2015年获工学博士学位，2016年至2018年获“博新计划”支持于中科院计算所从事博士后课题研究。主要研究方向三维点云特征学习、三维目标检测识别与三维场景重建。目前已在IEEE TPAMI、IJCV和CVPR等国际期刊和会议上发表学术论文90余篇，其中ESI热点论文1篇，高被引论文5篇，论文被引用2800余次。合著英文专著1部，著作章节1章，教辅书2部。目前担任中国图象图形学学会三维视觉专委会秘书长，IET Computer Vision和IET Image Processing期刊副编辑（AE），CVPR 2021和ICPR 2020国际会议领域主席（AC），曾担任IEEE TPAMI期刊客座编辑。曾获得中国人工智能学会吴文俊人工智能优秀青年奖（2019年）和优秀博士学位论文奖（2016年）。指导研究生获得2016年第十一届中国研究生电子设计竞赛第一名（特等奖）。

个人主页：

http://yulanguo.me/

Panel嘉宾：盛律（北京航空航天大学）

嘉宾简介：

盛律，现任北京航空航天大学软件学院副教授。他于2016年毕业于香港中文大学，获得电子工程博士学位，2017-2019年任香港中文大学多媒体实验室博士后研究员，2019年至今任北京航空航天大学软件学院副教授。他的研究方向集中在深度学习、计算机视觉以及图像和视频处理，在T-PAMI/IJCV/CVPR/ICCV/ECCV/AAAI等国际期刊和会议发表论文20余篇。期刊T-PAMI/T-IP/T-MM/T-CSVT等审稿人，会议CVPR/ICCV/ECCV/NeurIPS/AAAI等审稿人。现担任视觉与学习青年学者研讨会（VALSE）执行AC。北京航空航天大学“卓越百人”计划入选者，主持国家自然科学基金青年项目，以及参与多项科技部及省部级人工智能重点研发项目。

个人主页：

https://lucassheng.github.io/

主持人：樊彬（北京科技大学）

主持人简介：

樊彬，博士，北京科技大学自动化学院教授，IEEE Senior Member，VALSE第四届/第五届执行委员会委员（EAC）。2006年获北京化工大学自动化专业学士学位，2011年获中国科学院自动化所模式识别与智能系统博士学位，同年进入中科院自动化所模式识别国家重点实验室工作，2020年加入北京科技大学。2015年至2016年获得国家公派留学资助在瑞士洛桑联邦理工大学（EPFL）从事计算机视觉相关的访问研究。主要研究领域包括计算机视觉、模式识别和深度学习等，近5年在IEEE PAMI/TNNLS/TIP/TMM/TVCG/ TCSVT、CVPR、ICCV等重要国际期刊和会议上发表论文30多篇，出版Springer英文专著1部，担任SCI期刊《Neurocomputing》、《The Visual Computer》的Associate Editor，以及国际会议IJCAI’20、ICME’20、WACV’16的AC或SPC。获2017年ACM北京新星奖，入选第四届中国科协青年人才托举计划。

个人主页：

https://bfan.github.io/ 

20-16期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“16期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：樊彬（北京科技大学）

协办AC：明悦（北京邮电大学）

责任AC：郭裕兰（国防科技大学）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE M群，群号：531846386）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺、B站、西瓜视频，请在搜索Valse Webinar进行观看。