VALSE 论文速览 第66期：基于点云输入的类级别物体位姿追踪

论文题目：CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds

作者列表：翁伊嘉* (北京大学/斯坦福大学)，王鹤*† (北京大学/斯坦福大学/北京通用人工智能研究院)，周强 (山东大学)，秦誉哲 (加州大学圣地亚哥分校)，段岳圻 (斯坦福大学)，樊庆楠 (斯坦福大学/腾讯人工智能实验室)，陈宝权 (北京大学)，苏昊 (加州大学圣地亚哥分校)，Leonidas Guibas (斯坦福大学) (*：共同第一作者，†：通讯作者)

B站观看网址：

https://www.bilibili.com/video/BV1M34y1a7Tt/

论文摘要：

本工作聚焦以点云序列为输入的类级别物体位姿追踪问题，提出了第一个可以同时应用于刚性物体和带关节物体，运行在类级别场景——测试物体与训练物体来自同一个已知物体类别，但存在个体几何差异——的九自由度位姿追踪框架。九自由度位姿包含物体的三维尺寸、在空间中的三维平移和三维旋转，可以等价地表示为空间中一个自由摆放的三维包围盒。给定当前帧的深度点云与上一帧的物体位姿估计，本文提出的框架能通过端到端的训练，学习准确地更新位姿估计。该框架包含三个模块：1) 位姿正规化 (canonicalization)模块，将输入深度点云的位姿正规化到标准位姿附近；2) 旋转回归网络 (RotationNet)， 直接回归帧间的旋转差异；以及3) 坐标预测网络 (CoordinateNet)，预测点云对应的归一化坐标与语义分割遮罩，从而进一步计算物体的尺寸与平移信息。本文提出的方法基于位姿的时序连续性，充分利用位姿正规化后点云中所包含残余位姿幅度小的特点；有机结合两种物体位姿求解经典算法，即1) 预测物体的稠密归一化坐标，再基于原坐标与归一化坐标的对应关系拟合位姿，与2) 直接回归物体位姿；是一个端到端可微、可以直接以九自由度位姿精度为优化目标进行训练的框架，免于经典算法如随机抽样一致性算法 (RANdom SAmple Consensus, RANSAC)中不可微的步骤。大量实验结果证明，本文提出的方法在类级别刚性物体位姿估计基准数据集NOCS-REAL275、类级别带关节物体位姿估计基准数据集 (SAPIEN、BMVC)上均达到了目前最好的表现，运行速度达到每秒12帧。

论文信息：

[1] Heqian Qiu, Hongliang Li, Qingbo Wu, Jianhua Cui, Zichen Song, Lanxiao Wang, and Minjian Zhang. "CrossDet: Crossline Representation for Object Detection." Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 3195-3204, virtual, October 2021.

论文链接：

[https://arxiv.org/abs/2104.03437]

代码链接：

https://yijiaweng.github.io/CAPTRA

视频讲者简介：

翁伊嘉，斯坦福大学博士生，研究方向为三维计算机视觉、机器人视觉。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：王鑫 (清华大学)、杨曦 (西安电子科技大学)

季度责任AC：杨猛 (中山大学)