VALSE

VALSE 首页 活动通知 查看内容

VALSE 论文速览 第66期:基于点云输入的类级别物体位姿追踪

2022-5-5 16:17| 发布者: 程一-计算所| 查看: 85| 评论: 0

摘要: 为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展,VALSE最新推出了《论文速览》栏目,将在每周发布一至两篇顶会顶刊论文的录制视频,对单个前沿工作进行细致讲解。本期VALSE论文速 ...

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展,VALSE最新推出了《论文速览》栏目,将在每周发布一至两篇顶会顶刊论文的录制视频,对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自北京大学与斯坦福大学的物体位姿追踪方面的工作。该工作由王鹤老师指导,论文共同第一作者翁伊嘉同学录制。


论文题目:CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds

作者列表:翁伊嘉* (北京大学/斯坦福大学),王鹤*† (北京大学/斯坦福大学/北京通用人工智能研究院),周强 (山东大学),秦誉哲 (加州大学圣地亚哥分校),段岳圻 (斯坦福大学),樊庆楠 (斯坦福大学/腾讯人工智能实验室),陈宝权 (北京大学),苏昊 (加州大学圣地亚哥分校),Leonidas Guibas (斯坦福大学) (*:共同第一作者,†:通讯作者)

B站观看网址:

https://www.bilibili.com/video/BV1M34y1a7Tt/



论文摘要:

本工作聚焦以点云序列为输入的类级别物体位姿追踪问题,提出了第一个可以同时应用于刚性物体和带关节物体,运行在类级别场景——测试物体与训练物体来自同一个已知物体类别,但存在个体几何差异——的九自由度位姿追踪框架。九自由度位姿包含物体的三维尺寸、在空间中的三维平移和三维旋转,可以等价地表示为空间中一个自由摆放的三维包围盒。给定当前帧的深度点云与上一帧的物体位姿估计,本文提出的框架能通过端到端的训练,学习准确地更新位姿估计。该框架包含三个模块:1) 位姿正规化 (canonicalization)模块,将输入深度点云的位姿正规化到标准位姿附近;2) 旋转回归网络 (RotationNet), 直接回归帧间的旋转差异;以及3) 坐标预测网络 (CoordinateNet),预测点云对应的归一化坐标与语义分割遮罩,从而进一步计算物体的尺寸与平移信息。本文提出的方法基于位姿的时序连续性,充分利用位姿正规化后点云中所包含残余位姿幅度小的特点;有机结合两种物体位姿求解经典算法,即1) 预测物体的稠密归一化坐标,再基于原坐标与归一化坐标的对应关系拟合位姿,与2) 直接回归物体位姿;是一个端到端可微、可以直接以九自由度位姿精度为优化目标进行训练的框架,免于经典算法如随机抽样一致性算法 (RANdom SAmple Consensus, RANSAC)中不可微的步骤。大量实验结果证明,本文提出的方法在类级别刚性物体位姿估计基准数据集NOCS-REAL275、类级别带关节物体位姿估计基准数据集 (SAPIEN、BMVC)上均达到了目前最好的表现,运行速度达到每秒12帧。


论文信息:

[1] Heqian Qiu, Hongliang Li, Qingbo Wu, Jianhua Cui, Zichen Song, Lanxiao Wang, and Minjian Zhang. "CrossDet: Crossline Representation for Object Detection." Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 3195-3204, virtual, October 2021.


论文链接:

[https://arxiv.org/abs/2104.03437]


代码链接:

https://yijiaweng.github.io/CAPTRA


视频讲者简介:

翁伊嘉,斯坦福大学博士生,研究方向为三维计算机视觉、机器人视觉。



特别鸣谢本次论文速览主要组织者:

月度轮值AC:王鑫 (清华大学)、杨曦 (西安电子科技大学)

季度责任AC:杨猛 (中山大学)


活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行,欢迎在B站搜索VALSE_Webinar关注我们!

直播地址:

https://live.bilibili.com/22300737;

历史视频观看地址:

https://space.bilibili.com/562085182/ 


2、VALSE Webinar活动通常每周三晚上20:00进行,但偶尔会因为讲者时区问题略有调整,为方便您参加活动,请关注VALSE微信公众号:valse_wechat 或加入VALSE QQ R群,群号:137634472);


*注:申请加入VALSE QQ群时需验证姓名、单位和身份缺一不可。入群后,请实名,姓名身份单位。身份:学校及科研单位人员T;企业研发I;博士D;硕士M。


3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。


4您也可以通过访问VALSE主页:http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT(经讲者允许后),会在VALSE官网每期报告通知的最下方更新。


小黑屋|手机版|Archiver|Vision And Learning SEminar

GMT+8, 2022-5-28 00:17 , Processed in 0.011977 second(s), 14 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部