VALSE 论文速览 第81期：图像拼接矩形化新基线

论文题目：Deep Rectangling for Image Stitching: A Learning Baseline

作者列表：聂浪 (北京交通大学)，林春雨 (北京交通大学，通讯作者)，廖康 (北京交通大学)，刘帅成 (电子科技大学)，赵耀 (北京交通大学)

B站观看网址：

https://www.bilibili.com/video/BV1cW4y1z7Q1/

论文摘要：

图像拼接提供了更大的FOV，但却带来了不规则的边界，不仅影响了视觉体验，也为下游任务带来了负面影响。为了解决这个问题，传统的图像矩形化方法致力于搜索初始mesh并优化目标mesh来找到矩形化的warp映射。但这种方法严重依赖于线段检测的性能，在一些具有丰富非线性结构的场景下 (如风景、人像)容易产生畸变。

在本文中，我们提出第一个图像矩形化的深度学习baseline来解决这些问题。具体来说，我们预先定义了一个规则的目标mesh，然后利用神经网络预测对应的初始mesh，将原来两阶段的传统矩形化pipeline简化为了一阶段的回归问题。为了预测得到更合适的warp映射，我们在网络中设计了残差渐进式的回归策略并提出了一个综合性的目标函数，同时鼓励边界矩形、mesh形状保持和内容自然。此外，我们构建了第一个包含了大量不规则边界和丰富场景的图像矩形化数据集。实验证明了所提出的方法在定量比较和定性评估上都远远优于传统算法。

论文信息：

[1] Lang Nie, Chunyu Lin*, Kang Liao, Shuaicheng Liu, and Yao Zhao. Deep Rectangling for Image Stitching: A Learning Baseline. CVPR 2022 (Oral).

论文链接：

[https://arxiv.org/abs/2203.03831]

代码链接：

[https://github.com/nie-lang/DeepRectangling]

视频讲者简介：

聂浪，北京交通大学2021级博士研究生。目前以第一作者发表论文5篇，含3篇IEEE Trans/ CCF A类论文。研究兴趣为计算机视觉，包括计算摄影学，全景图像理解等，详情可见个人主页：https://nie-lang.github.io。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：赵文达 (大连理工大学)、任文琦 (中山大学)

季度责任AC：魏秀参 (南京理工大学)