VALSE 论文速览 第28期：基于混合神经网络的事件场合成孔径成像 ...

论文题目：基于混合神经网络的事件场合成孔径成像

作者列表：张翔 (武汉大学)，廖伟 (武汉大学), 余磊 (武汉大学), 杨文 (武汉大学), 夏桂松 (武汉大学)

B站观看网址：

https://www.bilibili.com/video/BV1JL411M7n5/

论文摘要：

在目标受遮挡的情况下，合成孔径成像算法能够通过多视角观测收集充分的目标信息，并通过图像合成虚化前景遮挡，重建出无遮挡的目标图像。然而，基于普光相机的合成孔径成像方法在密集遮挡的情况下难以收集丰富的有效信息进行去遮挡重建，并且在极端光照场景中会出现过曝光/欠曝光的问题，无法完成合成孔径成像任务。针对以上问题，我们提出了基于事件相机的合成孔径成像算法。首先利用事件相机的低延时和响应亮度变化的特点，将密集遮挡转变为激发事件点的有利工具，从而收集丰富的目标信息进行重建。其次事件相机的高动态范围优势也使得本系统能够在极端光照场景中正常工作，并有效完成合成孔径成像任务。我们提出的算法主要包含事件重聚焦和图像重建两个步骤。首先通过事件重聚焦将多视角下拍摄得到的目标信息对齐，随后构建包含脉冲神经网络与卷积神经网络的混合架构提取事件数据的时空信息，并重建出无遮挡的视觉图像。实验表明我们所提的方法能够有效克服密集遮挡与极端光照环境的干扰，并能从纯事件数据中重建出质量较好的无遮挡视觉图像。

论文信息：

[1]Xiang Zhang, Wei Liao, Lei Yu, Wen Yang, Gui-Song Xia, “Event-based Synthetic Aperture Imaging with a Hybrid Network,” in Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR 2021), June 2021.

论文链接：

[https://openaccess.thecvf.com/content/CVPR2021/html/Zhang_Event-Based_Synthetic_Aperture_Imaging_With_a_Hybrid_Network_CVPR_2021_paper.html]

代码链接：

[https://github.com/dvs-whu/E-SAI]

视频讲者简介：

张翔同学目前就读于武汉大学，电子信息学院二年级硕士生，导师为余磊副教授。研究兴趣包括计算机视觉和神经形态计算，发表1篇论文入选CVPR 2021 Best Paper Candidate。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：张长青 (天津大学)、江波 (安徽大学)

季度责任AC：许永超 (武汉大学)