VALSE 论文速览 第112期：Flow-Guided Transformer for Video Inpainting

论文题目：Flow-Guided Transformer for Video Inpainting

作者列表：张凯栋 (中国科学技术大学)，伏晶晶 (微软亚洲研究院)，刘东 (中国科学技术大学)

B站观看网址：

https://www.bilibili.com/video/BV17M41157VW/

论文摘要：

我们提出了一种基于光流引导的自注意力模型，它创新地利用光流暴露的运动差异来指导自注意力模型中的注意力检索以进行高保真视频修复。更具体地说，我们设计了一种新颖的光流补全网络，通过利用局部时间窗口中的相关光流特征来补全损坏的光流。有了完整的光流，我们将视频内容进行跨视频帧传播，并采用光流引导自注意力模型来合成其余破损的区域。我们在时间和空间维度上解耦自注意力模型，这样我们就可以轻松地整合局部相关的已补全的光流，以使其仅引导空间注意力的自注意力检索过程。此外，我们设计了一个光流重加权模块来精确控制已补全的光流对每个空间自注意力模型的影响。为了提高效率，我们将窗口分区策略引入到空间和时间自注意力模型中。特别是在空间自注意力模型中，我们设计了一个双视角空间多头自注意力机制，它将全局标记集成到基于窗口的自注意力检索中。大量的定性和定量的实验证明了所提出方法的有效性。

We propose a flow-guided transformer, which innovatively leverage the motion discrepancy exposed by optical flows to instruct the attention retrieval in transformer for high fidelity video inpainting. More specially, we design a novel flow completion network to complete the corrupted flows by exploiting the relevant flow features in a local temporal window. With the completed flows, we propagate the content across video frames, and adopt the flow-guided transformer to synthesize the rest corrupted regions. We decouple transformers along temporal and spatial dimension, so that we can easily integrate the locally relevant completed flows to instruct spatial attention only. Furthermore, we design a flow-reweight module to precisely control the impact of completed flows on each spatial transformer. For the sake of efficiency, we introduce window partition strategy to both spatial and temporal transformers. Especially in spatial transformer, we design a dual perspective spatial MHSA, which integrates the global tokens to the window-based attention. Extensive experiments demonstrate the effectiveness of the proposed method qualitatively and quantitatively.

论文信息：

[1] Kaidong Zhang, Jingjing Fu, Dong Liu, “Flow-Guided Transformer for Video Inpainting,” In the proceedings of European Conference on Computer Vision (ECCV), 2022.

论文链接：

[https://www.ecva.net/papers/eccv_2022/papers_ECCV/html/1456_ECCV_2022_paper.php]

代码链接：

[https://github.com/hitachinsk/FGT]

视频讲者简介：

张凯栋是中国科学技术大学博士生，师从刘东教授，研究兴趣为底层视觉、计算机图形学以及医学图像处理。曾获首届全国人工智能大赛4K+HDR赛道亚军，在CVPR和ECCV等国际会议上发表多篇文章，并担任CVPR等国际学术会议审稿人。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：林迪 (天津大学)、郑乾 (浙江大学)