20210804-20期 总第247期 图像复原研究进展与挑战

报告嘉宾：陈启峰 (香港科技大学)

报告题目：Exploring Invertibility in Image Processing and Restoration

报告嘉宾：董超 (中国科学院深圳先进技术研究院)

报告题目：图像超分辨率网络的可解释性

Panel嘉宾：

陈启峰 (香港科技大学)、董超 (中国科学院深圳先进技术研究院)、贾旭 (大连理工大学)、顾舒航 (悉尼大学)

Panel议题：

1. 在图像复原问题中，成像过程的刻画显得尤为重要，与基于传统的ISP方式的建模方法相比，目前基于数据驱动的ISP建模方法优势和缺点有哪些？

2. 基于深度学习的图像复原方法在现有的标准数据集上取得了较好的效果，然而在处理真实场景或者未知场景中的图像复原问题的时候往往表现的不好，造成这一问题的原因是什么？目前有什么好的解决方法？

3. 目前智能手机及移动成像设备获取的图像和视频的分辨率越来越高，怎样设计速度快且保证具有一定效果的图像视频增强模型？

4. 现在智能手机很多都具有多个摄像头从而带来新的功能，比如华为P30有Dual-view的拍照功能，而具有Lidar/ToF的手机可以拍摄RGBD图像视频，另外智能手机能进行延时摄影。未来智能手机拍摄方面会怎么样？会带来怎样的新挑战？

5. 与图像复原问题相比，目前大多数视频复原与增强算法产生的视频序列大多存在时域不一致性问题（比如闪烁问题），有没有针对这一问题的解决方案？视频复原问题的研究目前面临哪些挑战？

6. 现有的图像视频复原数据集大多基于特定的退化模型合成的方式，目前也出现了一些通过特定设备采集刻画真实退化过程的成对数据，如何看待这些数据集？图像视频复原问题中需要什么样的标准数据集？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：陈启峰 (香港科技大学)

报告时间：2021年08月04日 (星期三)晚上20:00 (北京时间)

报告题目：Exploring Invertibility in Image Processing and Restoration

报告人简介：

Dr. Qifeng Chen is an assistant professor of CSE and ECE at HKUST. He received his Ph.D. in computer science from Stanford University in 2017 and a Bachelor’s degree in computer science and mathematics from HKUST in 2012. He has more than 40 papers published/accepted in top computer vision conferences (CVPR/ICCV/ECCV) with topics in image processing and synthesis, 3D vision, autonomous driving, efficient network architectures, and so on. In 2018, he was named one of 35 Innovators under 35 inChinaby MIT Technology Review. He also won the Google Faculty Research Award in 2018. In 2011, he won second place worldwide at the ACM-ICPC World Finals and a gold medal at IOI 2007.

个人主页：

https://cqf.io

报告摘要：

Today’s smartphones have enabled numerous stunning visual effects from denoising to beautification, and we can share high-quality JPEG images easily on the internet, but it is still valuable for photographers and researchers to keep the original raw camera data for further post-processing (e.g., retouching) and analysis. However, the huge size of raw data hinders its popularity in practice, so can we almost perfectly restore the raw data from a compressed RGB image and thus avoid storing any raw data? This question leads us to design an invertible image signal processing pipeline. Then we further explore invertibility in other image processing and restoration tasks, including image compression, reversible image conversion (e.g., image-to-video conversion), and embedding novel views in a single JPEG image. We demonstrate that customized invertible neural networks are highly effective in these inherently non-invertible tasks.

参考文献：

[1] Yazhou Xing, Zian Qian, and Qifeng Chen, “Invertible Image Signal Processing,” CVPR 2021

[2] Yueqi Xie, Ka Leong Cheng, and Qifeng Chen. “Enhanced Invertible Encoding for Learned Image Compression,” ACM Multimedia 2021

[3] Ka Leong Cheng, Yueqi Xie, and Qifeng Chen, “IICNet: A Generic Framework for Reversible Image Conversion,” ICCV 2021

[4] Yue Wu, Guotao Meng, and Qifeng Chen, “Embedding Novel Views in a Single JPEG Image,” ICCV 2021

报告嘉宾：董超 (中国科学院深圳先进技术研究院)

报告时间：2021年08月04日 (星期三)晚上20:45 (北京时间)

报告题目：图像超分辨率网络的可解释性

报告人简介：

董超，副研究员，博士生导师，博士毕业于香港中文大学信息工程专业。2014年在欧洲计算机视觉大会（ECCV）上发表论文SRCNN，首次将深度学习引入图像超分辨领域。2017年-2019年，带队参加国际超分辨率比赛NIRTE17, NIRTE18，PIRM18，NTIRE19和AIM2020，共获得8项冠军。2016年-2018年就职于商汤科技集团，任高级研究经理，带领商汤超分团队开发了世界首款基于深度学习的数码变焦软件。2018年6月全职加入中科院深圳先进技术研究院，成立XPixel画质团队，专注于底层机器视觉和图像处理。现担任VALSE领域主席、IEEE JSTSP期刊编委，中国科学院青促会会员。

个人主页：

http://xpixel.group/

报告摘要：

图像超分辨率技术近年来发展迅速，各种超分网络层出不穷，性能指标也在逐年攀升。然而我们对超分网络的运行机制却知之甚少，网络设计的科学性得不到保障。不仅如此，整个底层视觉领域都缺乏网络可解释性的工作。为此，我们尝试从三个角度来对超分网络进行解析。首先，我们研究了超分网络的归因机制，提出了专门针对底层视觉的归因工具Local Attribution Map (LAM)，用它来分析超分网络对输入信息的有效利用情况。然后，我们尝试回答了一个关乎底层视觉网络本质的问题——超分网络里是否学到了语义信息，还是只是进行了复杂的局部映射？我们在网络特征中成功提取出了含有底层语义的Deep Degradation Representations (DDR)，并与我们普遍认知的高层语义进行区分。在研究了网络的输入和特征之后，我们又从滤波器的角度出发，探索了盲超分网络中的功能分区。我们利用新提出的Filter Attribution method based on Integral Gradient (FAIG)，找到了网络中负责去噪和去模糊的部分，并利用它们对不同损失类型的输入图进行分类。希望我们的工作可以帮助研究者更有效的理解和设计超分网络，并能够启发更多关于底层视觉的可解释性工作。

Panel嘉宾：贾旭 (大连理工大学)

嘉宾简介：

贾旭，工学博士，现为大连理工大学人工智能学院长聘副教授，隶属于辽宁省智能感知与理解人工智能重点实验室。在加入大连理工大学之前，他曾在华为诺亚方舟实验室任高级研究员，在商汤科技任研究员，并在Google Research进行交流。目前主要从事图像和视频增强及生成方面的研究，在计算机视觉和机器学习领域的顶级国际期刊和国际学术会议上发表论文20余篇，Google Scholar引用3000余次，多项专利应用到手机拍照和自动驾驶业务上。

个人主页：

https://stephenjia.github.io/

Panel嘉宾：顾舒航 (悉尼大学)

嘉宾简介：

顾舒航，悉尼大学讲师。香港理工大学博士，苏黎世联邦理工学院博士后。主要研究方向为底层视觉，在TPAMI、IJCV、TIP、NeurIPS、CVPR、ICCV等CCF推荐期刊和会议发表论文30余篇。

个人主页：

https://shuhanggu.github.io

主持人：潘金山 (南京理工大学)

主持人简介：

潘金山，南京理工大学计算机科学与工程学院教授、博士生导师。主要从事图像/视频复原与增强等相关底层视觉问题的研究。在计算机视觉和人工智能领域的顶级国际期刊（IEEE TPAMI、IJCV等）和国际学术会议（CVPR、ICCV、ECCV等）上发表论文60余篇，其中CCF推荐A类论文40余篇。研究工作获得国家自然科学基金优秀青年科学基金资助、中国人工智能学会优秀博士学位论文奖以及辽宁省优秀博士学位论文奖。担任国际会议CVPR的AC以及AAAI、IJCAI等国际会议的Senior PC。

个人主页：

https://jspan.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：潘金山 (南京理工大学)

协办AC：贾旭 (大连理工大学)