VALSE

VALSE 首页 活动通知 查看内容

VALSE 论文速览 第78期:内容自适应的卷帘快门相机视频重建

2022-6-20 17:16| 发布者: 程一-计算所| 查看: 76| 评论: 0

摘要: 为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展,VALSE最新推出了《论文速览》栏目,将在每周发布一至两篇顶会顶刊论文的录制视频,对单个前沿工作进行细致讲解。本期VALSE论文速 ...

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展,VALSE最新推出了《论文速览》栏目,将在每周发布一至两篇顶会顶刊论文的录制视频,对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自西北工业大学的卷帘快门图像时间超分辨方面的工作。该工作由戴玉超教授和何明一教授指导,论文第一作者樊斌录制。


论文题目:Context-Aware Video Reconstruction for Rolling Shutter Cameras

作者列表:樊斌 (西北工业大学),戴玉超 (西北工业大学),张志远 (西北工业大学),刘奇 (西北工业大学),何明一 (西北工业大学)

B站观看网址:

https://www.bilibili.com/video/BV1wA4y1d7MN/


复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。


论文摘要:

随着卷帘快门相机的普及,从两个连续的卷帘快门图像恢复出潜在的全局快门视频变得越来越具有吸引力,同时对于视频真实性提出了更高的要求。现有的解决方案通过使用深度神经网络[2]或者非线性优化获得潜在的卷帘快门几何,逐渐使该任务变得可行。然而,这些方法往往通过基于特定卷帘快门运动模型的图像翘曲直接生成目标全局快门图像,不可避免地会导致黑色空洞以及明显的运动伪影。在本文中,我们提出了上下文感知的全局快门视频重建框架来缓解这些问题。所提框架紧凑且高效,具备遮挡推理、运动补偿和时间抽象等优点。具体来说,我们首先估计对应任意时间的双边运动场,将两个卷帘快门图像的像素相应地翘曲至一个公共的全局快门图像平面,用以生成两个全局快门候选帧。然后,我们提出了一种细化方案,通过估计双边遮挡掩码用来指导最终的全局快门图像合成,从而重建出对应任意时间的高保真全局快门视频帧。此外,我们还推导了一个近似的双边运动场模型,它可以作为一种替代方案,为相关任务提供简单而有效的全局快门初始化。大量合成数据和真实数据上的实验表明,所提方法在客观指标和主观视觉质量方面均优于最先进的方法。


论文信息:

[1] Bin Fan, Yuchao Dai, Zhiyuan Zhang, Qi Liu, Mingyi He. Context-aware video reconstruction for rolling shutter cameras. CVPR 2022.

[2] Bin Fan, Yuchao Dai. Inverting a rolling shutter camera: bring rolling shutter images to high framerate global shutter video. ICCV 2021.


论文链接:

[https://arxiv.org/pdf/2205.12912.pdf]


代码链接:

[https://github.com/GitCVfb/CVR]


视频讲者简介:

樊斌,西北工业大学电子信息学院博士生。在CVPR、ICCV、CVIU、TCSVT、SPL和IVC等国际高水平会议或期刊发表多篇论文,入选CVPR 2022博士生论坛 (国内高校唯一),博士期间主要研究方向是基于卷帘快门图像的位姿估计、畸变校正、时间超分辨和三维重建等。



特别鸣谢本次论文速览主要组织者:

月度轮值AC:赵文达 (大连理工大学)、任文琦 (中山大学)

季度责任AC:魏秀参 (南京理工大学)


活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行,欢迎在B站搜索VALSE_Webinar关注我们!

直播地址:

https://live.bilibili.com/22300737;

历史视频观看地址:

https://space.bilibili.com/562085182/ 


2、VALSE Webinar活动通常每周三晚上20:00进行,但偶尔会因为讲者时区问题略有调整,为方便您参加活动,请关注VALSE微信公众号:valse_wechat 或加入VALSE QQ R群,群号:137634472);


*注:申请加入VALSE QQ群时需验证姓名、单位和身份缺一不可。入群后,请实名,姓名身份单位。身份:学校及科研单位人员T;企业研发I;博士D;硕士M。


3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。


4您也可以通过访问VALSE主页:http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT(经讲者允许后),会在VALSE官网每期报告通知的最下方更新。

小黑屋|手机版|Archiver|Vision And Learning SEminar

GMT+8, 2022-7-6 21:09 , Processed in 0.012468 second(s), 14 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部