20210901-24 总第251期 睁眼看世界：无人系统的环境感知

导言：

近来，智能机器人平台吸引了学术界与工业界的广泛关注，小米、波士顿动力、特斯拉等巨头公司也纷纷发力，发布了多款新型机器人，如四足机器人CyberDog与人形机器人Tesla Bot等。对周围环境的感知能力是机器人的基本能力之一，对机器人使用具有重要意义。本期VALSE将围绕 “无人系统的环境感知”这一主题，邀请中科院自动化所申抒含教授、浙江大学刘勇教授给我们带来两场精彩的报告。让我们一起携手推动机器人“睁眼看世界”！

报告嘉宾：申抒含 (中国科学院自动化研究所)

报告题目：面向无人系统的大规模场景三维感知

报告嘉宾：刘勇 (浙江大学)

报告题目：多源融合SLAM-现状与挑战

Panel嘉宾：

申抒含 (中国科学院自动化研究所)、刘勇 (浙江大学)、戴玉超 (西北工业大学)、张绍明 (同济大学)

Panel议题：

1. 深度学习在众多视觉任务中取得成果，在SLAM相关领域也在逐步融入，面向机器人应用，深度学习、强化学习等如何应用于SLAM？

2. 语义SLAM技术目前也是研究热点。该技术的发展前景如何？有哪些重要应用场景？

3. 在哪些细分机器人领域V-SLAM比LiDAR-SLAM有优势？哪些领域处于劣势？优势和劣势具体体现在哪里？

4. SLAM系统对传感器的数据采集质量有多大依赖性？或者说，对传感器有何性能参数的具体要求？

5. 学术界的SLAM技术框架到能集成到落地的机器人产品，中间还有多大的距离？在产品集成过程中，有哪些实际关键问题需要考虑？

6. SLAM涉及的知识面广，技术复杂，对新入此道的研究生有哪些建议？知识体系如何构建？是否有可快速上手工程实践的可行路线？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：申抒含 (中国科学院自动化研究所)

报告时间：2021年09月01日 (星期三)晚上20:00 (北京时间)

报告题目：面向无人系统的大规模场景三维感知

报告人简介：

申抒含，中国科学院自动化研究所模式识别国家重点实验室研究员、博士生导师，中国科学院大学人工智能学院岗位教授。2010年于上海交通大学自动化系获博士学位，研究领域为三维计算机视觉理论与应用，包括大规模场景三维重建、智能机器人三维环境感知、场景三维语义建模等。在计算机视觉、摄影测量、机器人等领域国际期刊和国际会议，如IJCV、IEEE TIP、ISPRS JPRS、CVPR、ECCV、ICRA、IROS等发表论文60余篇。多次获得三维视觉领域国际竞赛冠军，包括CVPR2019长时视觉定位竞赛、CVPR2021三维矢量化BIM建模竞赛等。作为项目负责人主持国家自然科学基金、中科院国际合作、中科院人才专项、以及各类企业课题十余项。担任中国图像图形学会三维视觉专委会常务委员、中国计算机学会计算机视觉专委会委员、中国图像图形学会机器视觉专委会委员。入选中科院青促会会员、中科院自动化所特聘青年骨干，曾获2016年ACM北京新星奖、2018年中国图像图形学会科学技术二等奖等。

个人主页：

http://vision.ia.ac.cn/Faculty/shshen/index.htm

报告摘要：

对无人系统而言，感知其工作场景的各类三维信息，包括三维几何结构、语义类别属性、空间位置姿态等，是无人系统可靠工作的基本前提。在场景三维感知的研究中，计算机视觉、计算机图形学、摄影测量、机器人等多个领域的研究不断交叉融合，几何视觉方法与深度学习方法也在不断发生碰撞。本次报告将介绍我们在三维地图构建、语义理解、结构化表达、视觉定位等方面的最新进展，并探讨在深度学习蓬勃发展的今天传统几何视觉方法的优势、局限和发展趋势。

参考文献：

[1] Xiang Gao, Lingjie Zhu, Zexiao Xie, Hongmin Liu, Shuhan Shen. Incremental Rotation Averaging. International Journal of Computer Vision, 129: 1202–1216, 2021.

[2] Jiali Han, Mengqi Rong, Hanqing Jiang, Hongmin Liu, Shuhan Shen. Vectorized Indoor Surface Reconstruction from 3D Point Cloud with Multistep 2D Optimization. ISPRS Journal of Photogrammetry and Remote Sensing, 177: 57-74, 2021.

[3] Jiali Han, Lingjie Zhu, Xiang Gao, Zhanyi Hu, Liyang Zhou, Hongmin Liu, Shuhan Shen. Urban Scene LOD Vectorized Modeling from Photogrammetry Meshes. IEEE Transactions on Image Processing, 2021.

[4] Mengqi Rong, Hainan Cui, Zhanyi Hu, Hanqing Jiang, Hongmin Liu, Shuhan Shen. Active Learning Based 3D Semantic Labeling From Images and Videos. IEEE Transactions on Circuits and Systems for Video Technology, 2021.

[5] Mingzhe Lv, Diantao Tu, Xincheng Tang, Yuqian Liu, Shuhan Shen. Semantically Guided Multi-View Stereo for Dense 3D Road Mapping, ICRA 2021.

[6] Zhuo Song, Chuting Wang, Yuqian Liu, Shuhan Shen. Recalling Direct 2D-3D Matches for Large-Scale Visual Localization, IROS 2021.

报告嘉宾：刘勇 (浙江大学)

报告时间：2021年09月01日 (星期三)晚上20:30 (北京时间)

报告题目：多源融合SLAM-现状与挑战

报告人简介：

刘勇，浙江大学智能系统与控制研究所教授，浙江大学控制学院智能驾驶与未来交通中心主任，入选2019年中组部万人计划青年拔尖人才。目前主要从事自主机器人与智能系统、机器人自主规划与导航控制、视觉识别与模式识别、SLAM技术及多传感器融合技术的研究。获浙江省自然科学一等奖、浙江省科学技术一等奖，以第一作者或通讯作者在IEEE Transactions、ICRA、CVPR、IJCAI、ICCV、IROS、ICLR、AAAI/IAAI等知名期刊和机器人顶级会议发表论文80余篇。

个人主页：

https://april.zju.edu.cn/

报告摘要：

SLAM技术是自主移动平台中的核心技术之一。近年来，随着无人驾驶和自主移动机器人的飞速发展，SLAM技术也获得了飞速的进展，逐渐从基础研究走向了深度的实践应用。然而在实际机器人和无人驾驶平台应用中，SLAM技术还面临着环境复杂多变、大规模结构化与非结构化场景交替、机器人平台剧烈运动以及光照、季节变化显著等挑战问题，因而采用多种传感器、多种信息源以及多种特征手段的多源融合SLAM成为了解决目前挑战问题的必然选择，本报告将针对目前SLAM在实践应用中面临的多种挑战问题开展介绍，分享目前的技术解决方案和最新进展。

参考文献：

[1] Yong Liu, Rong Xiong, Yue Wang, Hong Huang, Xiaojia Xie, Xiaofeng Liu, Gaoming Zhang. Stereo Visual-Inertial Odometry with Multiple Kalman Filters Ensemble. IEEE Transactions on Industrial Electronics, 2016, 63(10): 6205- 6216.

[2] Liang Liu , Guangyao Zhai , Wenlong Ye, Yong Liu. Unsupervised Learning of Scene Flow Estimation Fusing with Local Rigidity, (IJCAI 2019)

[3] Xingxing Zuo, Patrick Geneva, Woosik Lee, Yong Liu*, and Guoquan Huang. LIC-Fusion: LiDAR-Inertial-Camera Odometry, (IROS 2019)

[4] Xingxing Zuo, Patrick Geneva, Yulin Yang, Wenlong Ye, Yong Liu*, Guoquan Huang. Visual-Inertial Localization with Prior LiDAR Map Constraints, (IROS 2019)

[5] Wenlong Ye, Renjie Zheng, Fangqiang Zhang, Zizhou Ouyang, Yong Liu*. Robust and Efficient Vehicles Motion Estimation Ensembled with Low-Cost Multi-Camera and Odometer-Gyroscope, (IROS 2019)

[6] Xin Kong, Guangyao Zhai, Baoquan Zhong, Yong Liu*. PASS3D: Precise and Accelerated Semantic Segmentation for 3D Point Cloud, (IROS 2019)

[7] Xiangrui Zhao, Renjie Zheng, Wenlong Ye, Yong Liu*, Mingyang Li. A Robust Stereo Semi-direct SLAM System Based on Hybrid Pyramid, (IROS 2019)

[8] Jiajun Lv, Jinhong Xu, Xingxing Zuo, Kewei Hu and Yong Liu. “Targetless Calibration of LiDAR-IMU System Based on Continuous-time Batch Estimation”, (IROS 2020)

[9] Xingxing Zuo, Yulin Yang, Patrick Geneva, Jiajun Lv, Yong Liu, Guoquan Huang, Marc Pollefeys. “LIC-Fusion 2.0: LiDAR-Inertial-Camera Odometry with Sliding-Window Plane-Feature Tracking”, (IROS 2020)

[10] Hao Zou, Jinhao Ciu, Xin Kong,  Chujuan Zhang Yang, Yong Liu, etc. “F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single Object Tracking ”, (IROS 2020)

[11] Xin Kong, Xuemeng Yang, Yong Liu, etc. “Semantic Graph Based Place Recognition for 3D Point Clouds ”, (IROS 2020)

[12] Liu L., Zhang J., He R., et al. Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation，Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020: 6489-6498

Panel嘉宾：戴玉超 (西北工业大学)

嘉宾简介：

戴玉超，男，西北工业大学电子信息学学院，教授、博士生导师，国家级青年人才。主要研究工作集中在复杂动态场景的三维重建与感知、深度学习和几何模型融合的稠密匹配、新型仿生视觉传感器和计算成像等方面。主持国家自然科学基金面上项目、科技部科技创新2030“新一代人工智能”重大研究计划子课题等科研项目。近年来在IEEE TPAMI、IJCV、ICCV、CVPR、NeurIPS、ECCV等国际顶级期刊和会议上发表论文50余篇，谷歌学术引用超过4000次。先后获得IEEE CVPR 2012最佳论文奖（大陆高校30年来首次获得该奖项）、火箭军“智箭火眼”人工智能挑战赛“珠联璧合”科目全国冠军、IEEE CVPR 2020最佳论文提名奖、ECCV 2020鲁棒计算机视觉挑战赛双目深度估计赛道冠军和光流估计赛道亚军、CVPR 2017非刚性结构与运动恢复挑战赛最佳算法奖、亚太信号与信息处理协会2017年度峰会最佳深度学习/机器学习论文奖、陕西省优秀博士论文和陕西省科技进步二等奖等奖项。担任IEEE CVPR、IEEE ICCV、ACM MM等国际顶级会议领域主席，ACCV 2022 Publicity主席，中国图象图形学报青年编委。

个人主页：

http://npu-cvr.cn/

Panel嘉宾：张绍明 (同济大学)

嘉宾简介：

张绍明，博士，同济大学测绘与地理信息学院副教授，博士生导师。研究方向为计算机视觉和模式识别，特别关注相关理论和技术在低速无人驾驶方面的产品级应用。于2002年在天津大学电信学院获学士学位，2005年在中国电子科技集团14所获得硕士学位，2008年5月在同济大学获摄影测量与遥感博士学位。2011年在美国俄亥俄州立大学制图与地理信息系统实验室从事为期1年的博士后研究；2008-2017年从事主动精确制导算法研究并参与多个重大武器型号的核心研发；2018年牵头组建同济大学-广东光速智能计算机视觉联合实验室，并致力于计算机视觉在智能建造领域的实际落地应用；2019年创办低速无人驾驶整机公司（同辂机器人），目前入选苏州市“姑苏人才计划”和江苏省“双创计划”（创业类）。主持多项科研项目，包括国家自然科学基金、上海市自然科学基金、十三五“智能机器人”重点研发计划子课题、军工项目、企业合作项目等。发表论文多篇。

个人主页：

https://cvrsg.tongji.edu.cn/9a/59/c17310a170585/page.htm

主持人：张林 (同济大学)

主持人简介：

张林，男，同济大学教授、博士生导师，教育部青年长江学者。研究兴趣为机器视觉与图像理解。以第一或通信作者身份在IEEE T-PAMI、IEEE T-IP、IEEE T-MM、ACM TOMM、PR等期刊上发表论文30余篇，在ACM MM等会议上发表论文40余篇。根据Google Scholar统计，发表论文总的被引用次数为8200+次；其中，4篇论文入选ESI高被引论文。论文“FSIM: A feature similarity index for image quality assessment, IEEE T-IP, 2011”为IEEE T-IP自2011年以来所有发表论文中被引用次数最高的论文，被引用3300+次。论文“Online finger-knuckle-print verification for personal authentication, Pattern Recognition, 2010”曾获PR杂志最佳论文提名。获授权中国发明专利7项、美国发明专利1项、软著3项。主持国自然基金青年项目1项、面上项目2项、重点项目课题1项、国家重点研发计划课题1项、上海市浦江人才计划等省部级项目6项。研究工作也得到了多个标杆企业的资助，包括上汽、华为、腾讯等。2013年入选上海市浦江人才计划。2019年获全国软件工程教学案例比赛一等奖（排名1）。2020年度Elsevier中国高被引学者。获2020年度上海市科技进步一等奖（排名2）。

个人主页：

http://sse.tongji.edu.cn/linzhang/

特别鸣谢本次Webinar主要组织者：

主办AC：张林 (同济大学)

协办AC：戴玉超 (西北工业大学)

申抒含  [slide]

刘勇 [slide]