VALSE Webinar 20220831-22期 总第289期 就正有道：物理机理驱动的图像恢复与增强 ... ...

报告嘉宾：张林 (同济大学)

报告题目：图像雾霾分析：模拟、评估和消除

报告嘉宾：任文琦 (中山大学)

报告题目：融合先验知识的图像视频复原方法研究

Panel嘉宾：

张林 (同济大学)、任文琦 (中山大学)、刘家瑛 (北京大学)、潘金山 (南京理工大学)

Panel议题：

1. 从合成数据验证向真实场景应用的过程中，图像恢复与增强方法泛化难的主要因素有哪些，物理机理在解决上述泛化性困局方面，有望从哪些角度发挥积极作用？

2. 目前，图像恢复与增强方法在视觉感知质量提升方面已经取得了显著的成就，但对下游任务的影响则存在诸多争议。许多工作发现，低质图像在恢复及增强处理后，甚至会出现目标检测和语义分割性能退化的现象。请问各位嘉宾，主观质量与下游任务难以实现同步提升的症结来自哪里，我们是否有必要为人眼和机器构建不同的图像恢复与增强模型？

3. 今天，两位讲者的报告都提及了先验知识与深度学习的结合。请问各位嘉宾，两者结合的主要优势有哪些，这种范式是否会成为图像恢复与增强研究的主要趋势？

4. 目前，以vision transformer为代表的图像恢复与增强模型，虽然性能优异，但模型结构“重”，计算开销大。请问各位嘉宾，物理机理在轻量化网络结构设计方面具有哪些潜力，能否发挥四两拨千斤的作用？

5. 为了提升真实场景的泛化性能，最近出现了两类图像恢复与增强模型的学习方式。一种是非成对图像训练，另一种是成对合成数据预训练+真实场景域自适应。请问各位嘉宾，更加看好哪种学习方式，还有哪些更好的选择，请阐述下具体原因？

6. 作为非常经典的底层视觉处理任务，图像恢复与增强未来如何发展，有哪些新问题值得关注？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：张林 (同济大学)

报告时间：2022年08月31日 (星期三)晚上20:00 (北京时间)

报告题目：图像雾霾分析：模拟、评估和消除

报告人简介：

张林，同济大学软件学院教授，博士生导师。他曾于2003年和2006年在上海交通大学计算机科学与技术系分别获得学士和硕士学位。之后曾先后在Microsoft和Autodesk公司工作。2008年3月至香港理工大学攻读博士学位，2011年8月加入同济大学。主要研究兴趣包括机器视觉与图像理解、面向机器人的环境感知等。根据Google Scholar统计，截至目前，其所发表论文总的被引用次数为9600+次；其中，4篇论文入选ESI Highly Cited Papers。根据Web of Science统计，其论文“FSIM: A feature similarity index for image quality assessment, IEEE Trans. Image Processing, 20 (8)2378-2386, 2011”为IEEE T-IP自2011年以来所有发表论文中被引用次数最高的论文，目前WoS统计被引用2830次。他目前是IEEE高级会员、CCF杰出会员。目前是国际期刊IEEE RA-L/JVCI编委。他曾获2019年全国软件工程教学案例比赛一等奖 (排名1)、2020年度上海市科技进步一等奖 (排名2)，入选2020年度、2021年度Elsevier中国高被引学者。他于2013年入选上海市浦江人才计划，2020年入选教育部长江学者奖励计划青年学者，2021年入选上海市曙光计划。2021年8月开始，担任中国计算机学会传播大使。

个人主页：

http://cslinzhang.gitee.io/home/

报告摘要：

单幅图像去雾是计算机视觉和图像处理领域中的一个重要问题。在过去的二十年里，它一直受到研究人员的广泛关注。报告将总结本团队过去三年在该领域的研究进展，包括三个方面：图像雾霾的仿真、评估和消除。首先，在深入调查大气科学领域相关研究的基础上，我们对五种最常见的大气能见度退化现象提出了计算机模拟仿真策略，包括霭、雾、自然霾、烟雾和沙尘暴。其次，与摄影公益组织合作，我们建立了两个基准数据集，BeDDE和exBeDDE。BeDDE用于通过全参考图像质量评估 (FR-IQA)指标评估去雾算法。exBeDDE用于评估去雾算法评估指标。据我们所知，BeDDE是第一个带雾图像和对应的清晰图像都采集自真实室外场景的数据集。对于图像去雾，我们试图通过将该任务分为两个子任务，可见性恢复和真实性增强，来融合基于先验知识和基于学习的方法的优点。具体来说，我们提出了一个两阶段弱监督的图像去雾框架，RefineDNet。在第一阶段，RefineDNet使用暗通道假设来恢复可见性；在第二阶段，基于未配对的带雾图像和清晰图像的对抗性学习来对第一阶段的初步去雾结果进行真实性提升。希望本报告能给相关研究者带来一些新的启示。

参考文献：

[1] Lin Zhang, Anqi Zhu, Shiyu Zhao, and Yicong Zhou, "Simulation of atmospheric visibility impairment", IEEE Trans. Image Processing, vol. 30, pp. 8713-8726, 2021.

[2]Shiyu Zhao, Lin Zhang*, Ying Shen, and Yicong Zhou, "RefineDNet: A weakly supervised refinement framework for single image dehazing", IEEE Trans. Image Processing, vol. 30, pp. 3391-3404, 2021.

[3]Shiyu Zhao, Lin Zhang*, Shuaiyi Huang, Ying Shen, and Shengjie Zhao, "Dehazing evaluation: Real-world benchmark datasets, criteria and baselines", IEEE Trans. Image Processing, vol. 29, pp. 6947-6962, 2020.

报告嘉宾：任文琦 (中山大学)

报告时间：2022年08月31日 (星期三)晚上20:30 (北京时间)

报告题目：融合先验知识的图像视频复原方法研究

报告人简介：

任文琦，中山大学网络空间安全学院副教授。主要研究方向为图像视频处理，在本领域内国际主要期刊和会议发表CCF-A类学术论文40余篇，谷歌学术引用5700余次，5篇论文入选ESI高被引论文。担任《中国图象图形学报》青年编委，北京图象图形学会理事，AI和CV领域多个顶级学术期刊和会议审稿人。主持国家自然科学基金青年项目和面上项目，腾讯犀牛鸟基金 (结题获2018年唯一卓越奖)，滴滴盖亚，百度松果基金等。获中国计算机学会优秀博士论文奖，微软亚洲研究院“铸星计划”等。入选2021年度吴文俊人工智能优秀青年奖和2022年度百度发布的全球高潜力AI华人青年学者榜。

个人主页：

https://sites.google.com/view/wenqiren/homepage

报告摘要：

图像复原在实际生活中有重要应用价值，例如视频监控、公共安全、医学成像等，因此得到广泛关注和研究。本次报告主要介绍模糊、雨雾，低分辨率等不同质量退化的成因，并针对不同退化提出针对性的解决方案，通过结合自然场景、特定内容、成像物理模型等先验知识和深度网络特征学习的方法，通过先验赋值网络参数初始化、先验引导网络架构设计、先验约束网络特征学习等不同的方法，对图像视频质量进行恢复和重构，从而改善图像视觉效果以及计算机视觉系统的智能感知能力。

参考文献：

[1] Wenqi Ren, Jiawei Zhang, Jinshan Pan, Sifei Liu, Jimmy S. Ren, Junping Du, Xiaochun Cao, Ming-Hsuan Yang: Deblurring Dynamic Scenes via Spatially Varying Recurrent Neural Networks. IEEE Trans. Pattern Anal. Mach. Intell. 44(8): 3974-3987 (2022)

[2] Jun Luo, Wenqi Ren, Tao Wang, Chongyi Li, Xiaochun Cao: Under-Display Camera Image Enhancement via Cascaded Curve Estimation. IEEE Trans. Image Process. 31: 4856-4868 (2022)

[3] Yanyang Yan , Wenqi Ren , Xiaobin Hu , Kun Li , Haifeng Shen, Xiaochun Cao : SRGAT: Single Image Super-Resolution With Graph Attention Network. IEEE Trans. Image Process. 30: 4905-4918 (2021)

[4] Wenqi Ren, Jiaolong Yang, Senyou Deng, David P. Wipf, Xiaochun Cao, Xin Tong: Face Video Deblurring Using 3D Facial Priors. ICCV 2019: 9387-9396

[5] Wenqi Ren, Jiawei Zhang, Lin Ma, Jinshan Pan, Xiaochun Cao, Wangmeng Zuo, Wei Liu, Ming-Hsuan Yang: Deep Non-Blind Deconvolution via Generalized Low-Rank Approximation. NeurIPS 2018: 295-305

Panel嘉宾：刘家瑛 (北京大学)

嘉宾简介：

刘家瑛，博士，北京大学王选计算机研究所副教授，博士生导师，教育部青年长江学者，北京大学博雅青年学者。2010年7月，毕业于北京大学计算机应用技术专业，获理学博士并留校任教，2012年8月晋升为副教授。2015年，在微软亚洲研究院任铸星计划访问研究员。研究领域为智能媒体计算与视觉理解。累计发表IEEE汇刊与CCF A类论文80余篇，谷歌学术引用9千余次，其中ESI高被引论文2篇，获得授权国家发明专利70余项。担任APSIPA杰出讲者，IEEE/CSIG/CCF高级会员，IEEE CASS-MSA/VSPC技术委员会委员，CSIG多媒体专委会秘书长。担任IEEE Trans. on Image Processing, IEEE Trans. on Circuit System for Video Technology等期刊编委，ACM ICMR/IEEE ICME指导委员会委员，Elsevier JVCI期刊评奖委员会委员，ACM ICMR-2021/IEEE ICME-2021/VCIP-2019会议程序委员会主席，CVPR/ICCV/ECCV/AAAI会议领域主席等多个国际会议组织工作。获教育部科技进步二等奖、CSIG石青云青年女科学家奖、北京大学首届教学卓越奖、王选青年学者奖，IEEE ICME 2020最佳论文奖等。主讲的全球MOOC课程获教育部首批“国家精品在线开放课程”，教育部首批国家级一流本科课程。

个人主页：

http://www.wict.pku.edu.cn/struct/

Panel嘉宾：潘金山 (南京理工大学)

嘉宾简介：

潘金山，南京理工大学计算机科学与工程学院教授、博导。主要从事图像视频复原与增强等相关计算机视觉问题的研究。近年来，在CVPR/ICCV/ECCV等顶级国际会议以及IEEE TPAMI/IJCV等顶级国际期刊上发表论文70余篇，其中CCF推荐A类期刊和会议论文50余篇，Google学术引用7000余次，H-因子36。获得中国人工智能学会优秀博士学位论文奖，辽宁省优秀博士学位论文奖，2019年获得国家优秀青年科学基金资助。担任计算机视觉领域顶级国际会议CVPR的领域主席 (Area Chair)以及人工智能领域顶级国际会议AAAI/IJCAI等的资深程序委员会委员 (Senior PC)。

个人主页：

https://jspan.github.io/

主持人：吴庆波 (电子科技大学)

嘉宾简介：

吴庆波，电子科技大学副教授。2015年获电子科技大学信号与信息处理专业博士学位。主要从事图像视频质量评价、图像增强与恢复、感知驱动的图像内容分析等方面的研究工作。发表学术论文120余篇，包括IEEE TPAMI/TIP/TCSVT/CVPR/ICCV等国际重要期刊与会议等。谷歌学术引用2600余次，3篇论文入选ESI高被引论文。担任Remote Sensing，Frontiers in Neuroscience等期刊客座编辑，IEEE VCIP2016及VALSE领域主席，以及多个会议的分会主席和技术/程序委员会委员，先后入选电子科技大学“青年人才学术托举工程”和“基础研究星火计划”，获中国图象图形学学会自然科学奖，四川省科技进步奖，浙江省科技进步奖以及国家电网有限公司科技进步奖等。

个人主页：

http://ivipc.uestc.edu.cn/aprofessor/201812/76.html

特别鸣谢本次Webinar主要组织者：

主办AC：吴庆波 (电子科技大学)

协办AC：潘金山 (南京理工大学)