VALSE 论文速览 第78期：内容自适应的卷帘快门相机视频重建

论文题目：Context-Aware Video Reconstruction for Rolling Shutter Cameras

作者列表：樊斌 (西北工业大学)，戴玉超 (西北工业大学)，张志远 (西北工业大学)，刘奇 (西北工业大学)，何明一 (西北工业大学)

B站观看网址：

https://www.bilibili.com/video/BV1wA4y1d7MN/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

随着卷帘快门相机的普及，从两个连续的卷帘快门图像恢复出潜在的全局快门视频变得越来越具有吸引力，同时对于视频真实性提出了更高的要求。现有的解决方案通过使用深度神经网络[2]或者非线性优化获得潜在的卷帘快门几何，逐渐使该任务变得可行。然而，这些方法往往通过基于特定卷帘快门运动模型的图像翘曲直接生成目标全局快门图像，不可避免地会导致黑色空洞以及明显的运动伪影。在本文中，我们提出了上下文感知的全局快门视频重建框架来缓解这些问题。所提框架紧凑且高效，具备遮挡推理、运动补偿和时间抽象等优点。具体来说，我们首先估计对应任意时间的双边运动场，将两个卷帘快门图像的像素相应地翘曲至一个公共的全局快门图像平面，用以生成两个全局快门候选帧。然后，我们提出了一种细化方案，通过估计双边遮挡掩码用来指导最终的全局快门图像合成，从而重建出对应任意时间的高保真全局快门视频帧。此外，我们还推导了一个近似的双边运动场模型，它可以作为一种替代方案，为相关任务提供简单而有效的全局快门初始化。大量合成数据和真实数据上的实验表明，所提方法在客观指标和主观视觉质量方面均优于最先进的方法。

论文信息：

[1] Bin Fan, Yuchao Dai, Zhiyuan Zhang, Qi Liu, Mingyi He. Context-aware video reconstruction for rolling shutter cameras. CVPR 2022.

[2] Bin Fan, Yuchao Dai. Inverting a rolling shutter camera: bring rolling shutter images to high framerate global shutter video. ICCV 2021.

论文链接：

[https://arxiv.org/pdf/2205.12912.pdf]

代码链接：

[https://github.com/GitCVfb/CVR]

视频讲者简介：

樊斌，西北工业大学电子信息学院博士生。在CVPR、ICCV、CVIU、TCSVT、SPL和IVC等国际高水平会议或期刊发表多篇论文，入选CVPR 2022博士生论坛 (国内高校唯一)，博士期间主要研究方向是基于卷帘快门图像的位姿估计、畸变校正、时间超分辨和三维重建等。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：赵文达 (大连理工大学)、任文琦 (中山大学)

季度责任AC：魏秀参 (南京理工大学)