VALSE Webinar 20220601-13期 总第279期 特邀报告 从单目深度估计到单目三维场景重建 ...

特邀报告嘉宾：沈春华 (浙江大学)

报告题目：从单目深度估计到单目三维场景重建

*欢迎大家在下方留言提出主题相关问题，主持人会从中选择若干热度高的问题请报告嘉宾进行回复！

特邀报告嘉宾：沈春华 (浙江大学)

报告时间：2022年06月01日 (星期三)晚上20:00 (北京时间)

报告题目：从单目深度估计到单目三维场景重建

报告人简介：

沈春华，浙江大学求是讲席教授。2021年底他全职加入浙江大学计算机学院、计算机辅助设计与图形学国家重点实验室。2011到2021年，他在澳大利亚阿德莱德大学计算机学院、澳大利亚机器学习研究院 (Australian Institute for Machine Learning)、以及澳大利亚机器视觉卓越中心 (Australian Research Council Centre of Excellence for Robotic Vision)从事教学和科研工作；在这之前他在National ICT Australia堪培拉实验室以及澳洲国立大学工作了近6年。2012年获得Australian Research Council Future Fellowship。在从事教学的过去15年间，他指导毕业了28名博士生、30余名访问博士生。他在阿德莱德大学指导的博士生中超过一半学生毕业时获得了大学卓越博士论文研究生院院长奖 (Dean’s Commendation for Doctoral Thesis Excellence)；4人获得Google PhD Fellowship。他曾经担任澳大利亚Monash大学数据科学及人工智能学科的客座教授、南京大学客座教授。他本科就读于南京大学强化部、南京大学电子系硕士、阿德莱德大学博士。他的研究兴趣主要在计算机视觉的几个基础任务，包括目标检测、语义分割、实例分割，单目深度估计以及3D场景重建等。他的Google Scholar引用达39000+， H-index 100。

个人主页：

https://cshen.github.io/

报告摘要：

单目深度估计是计算机视觉的一个基础问题：在只有一张RGB图像作为输入的情况下，要求算法预测出每个像素点的深度 (景深)值。单目深度估计在机器人导航、自动驾驶、增强现实、三维场景重建和理解等多个领域都具有广泛的应用。传统的深度估计方法，如SLAM，Structure from Motion等，都是建立在多个输入图像的特征点匹配上。数学上, 从单个图像中推断深度信息是一个病态 (ill posed)问题。2012年AlexNet出现之后，利用大数据训练模型，对单个RGB图像进行端到端的稠密深度图估计取得了突破性的成果。我们从2014年开始研究基于神经网络的单目深度估计，为了提高估计的精度以及模型的泛化性，我们从训练数据的标注 (labelled vs. unlabelled)、大规模训练数据的构建以及处理、在神经网络中引入先验知识等几个维度讨论这个问题，取得了一些阶段性的成果。在这个报告中，我将简要介绍一下我们过去8年在这个方向上做的几个代表性工作，并讨论有待解决的问题。

参考文献：

[1] Learning to recover 3D scene shape from a single image. W. Yin, J. Zhang, O. Wang, S. Niklaus, L. Mai, S. Chen, C. Shen. Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR’21), 2021.

[2] Virtual normal: Enforcing geometric constraints for accurate and robust depth prediction，W. Yin, Y. Liu, C. Shen. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2022.

[3] Auto-rectify network for unsupervised indoor depth estimation，J. Bian, H. Zhan, N. Wang, T. Chin, C. Shen, I. Reid. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2022.

[4] Unsupervised scale-consistent depth and ego-motion learning from monocular video，J. Bian, Z. Li, N. Wang, H. Zhan, C. Shen, M. Cheng, I. Reid. Proc. Advances in Neural Information Processing Systems (NeurIPS’19), 2019.

[5] Monocular relative depth perception with web stereo data supervision，K. Xian, C. Shen, Z. Cao, H. Lu, Y. Xiao, R. Li, Z. Luo. Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR’18).

[6] Learning depth from single monocular images using deep convolutional neural fields, F. Liu, C. Shen, G. Lin, I. Reid. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2016.

[7] Deep convolutional neural fields for depth estimation from a single image.F. Liu, C. Shen, G. Lin. Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR’15), 2015. 

主持人：刘昊 (宁夏大学)

主持人简介：

刘昊，宁夏大学信息工程学院副院长、教授，宁夏大学“贺兰山学者”，中国科协青年托举人才，宁夏青年科技托举人才，中国计算机学会高级会员。长期从事模式识别与数据高效学习方面的研究工作，相关研究发表在国际期刊IEEE TPAMI/ TIP/ TIFS/ TCSVT/ TMM及CVPR/ AAAI/ ACMMM等会议。主持国家自然科学基金面上项目与青年科学基金项目、宁夏重点研发计划。获中国人工智能学会优秀博士论文奖，清华大学优秀博士论文奖，宁夏自然科学优秀学术论文一等奖，中国人工智能学会-华为MindSpore学术奖励基金。

个人主页：

https://haoliuphd.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：夏勇 (西北工业大学)

协办AC：刘昊 (宁夏大学)