VALSE 论文速览 第182期：融合图像、点云和事件多模态信息的光流与场景流联合估计 ...

论文题目：

RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical Flow and Scene Flow Estimation

作者列表：

万哲雄 (西北工业大学), 毛宇昕 (西北工业大学), 张静 (澳大利亚国立大学), 戴玉超 (西北工业大学)

B站观看网址：

https://www.bilibili.com/video/BV1PJ4m1G7n1/

论文摘要：

最近的有融合RGB图像和点云的方法成功用于联合估算二维光流和三维场景流。然而，由于传统的图像相机和激光雷达传感器都采用基于帧快门的数据采集机制，基于这类传感器的运动感知算法的性能往往会受到固定的低采样帧率的限制，尤其是难以处理高动态场景。相比之下，新型事件相机能以极高的时间分辨率异步捕捉场景中的亮度变化，能够为视觉算法对场景理解提供额外的动态信息。在本文中，我们提出一个融合图像、点云和事件的用于联合估计光流和场景流的多阶段多模态融合模型RPEFlow。具体地，我们提出了一个基于交叉注意机制的多模态融合模块，以隐含地探索二维和三维分支的多模态特征间相关性。其次，我们提出了三模态互信息正则化项，以显式地建模三种模态的互补信息，从而实现有效的多模态特征学习。我们还提供了一个新的合成数据集，以促进进一步的研究。在合成数据集和真实数据集上的实验表明，我们的模型明显优于现有基于单模态、两模态的最优的光流估计、场景流估计模型。

论文链接：

[https://openaccess.thecvf.com/content/ICCV2023/papers/Wan_RPEFlow_Multimodal_Fusion_of_RGB-PointCloud-Event_for_Joint_Optical_Flow_and_ICCV_2023_paper.pdf]

代码链接：

[https://npucvr.github.io/RPEFlow]

视频讲者简介：

万哲雄，西北工业大学电子信息学院三年级博士生，师从戴玉超教授。研究兴趣为事件相机视觉，包括运动估计、运动分割、运动去模糊、视频插值等。已在CVPR、ICCV、TIP、TCSVT等会议和期刊上发表论文5篇，其中第一作者3篇。

个人主页：

https://danquxunhuan.cn

特别鸣谢本次论文速览主要组织者：

月度轮值AC：张瑞茂 (香港中文大学 (深圳))