VALSE 论文速览 第23期：VS-Net:基于分割投票的视觉定位

论文题目：VS-Net:基于分割投票的视觉定位

作者列表：黄昭阳 (浙江大学，香港中文大学)、周晗 (浙江大学)、李易瑾 (浙江大学)、杨镑镑 (浙江大学)、许龑 (香港中文大学)、周晓巍 (浙江大学)、鲍虎军 (浙江大学)、章国锋 (浙江大学)、李鸿升 (香港中文大学，西安电子科技大学)

B站观看网址：

https://www.bilibili.com/video/BV1nf4y1u77E/

论文摘要：

本文提出了一个新颖的视觉定位框架。最近，基于场景坐标回归的方法在小型静态场景中的视觉定位方面表现出良好的性能。然而，它仍然从许多劣势场景坐标估计相机姿势。为了解决这个问题，我们提出了一种新颖的视觉定位框架，该框架通过一系列可学习的特定场景地标(Landmark)在查询图像和三维地图之间建立二维到三维的对应关系。在地标生成阶段，目标场景的三维表面被分割成场景唯一块，其几何中心被视为特定场景的地标。通过图像分割将像素分割成不同的地标块，并使用地标位置投票估计每个块内的地标位置，即可准确计算相机位姿。由于场景中的地标数量可能达到5000个，对于常用的交叉熵损失来说，用这么大数量的类来训练一个分割网络，既费计算又费内存。我们提出了一种新的基于原型的在线学习三元组监督策略，它能够有效地训练具有大量标签的语义分割网络。我们提出的VS-Net在多个公共基准上进行了广泛的测试，展现了上述方法在视觉定位任务上的优越性能。

论文信息：

[1] Huang Z, Zhou H, Li Y, et al. “VS-Net: Voting with Segmentation for Visual Localization”IEEE Conference on Computer Vision and Pattern Recognition (CVPR), March, 2021.

论文链接: 

https://arxiv.org/abs/2105.10886

代码开源: 

https://github.com/zju3dv/VS-Net

视频讲者简介：

周晗同学，浙江大学博士生，研究方向三维视觉、智能机器人。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：刘洋 (北京大学)，林迪 (天津大学)，朱霖潮 (悉尼科技大学)

季度责任AC：王兴刚 (华中科技大学)