20190529-12 图像语义分割-理解每个像素

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

报告时间：2019年5月29日（星期三）晚上20:00（北京时间）

主题：图像语义分割-理解每个像素

主持人：程明明（南开大学 ）

报告嘉宾：赵恒爽 (The Chinese University of Hong Kong)

报告题目：Pixel-Level Image Understanding with Semantic Segmentation and Panoptic Segmentation

报告嘉宾：俞刚（旷视科技）

报告题目：Context For Semantic Segmentation

Panel议题：

1. 语义分割经过这些年的快速发展，结果精度和运算速度是否已到极限。还有那些改进的空间？

2. 谷歌最近推出了Open Images数据集，包含280万分割掩码。这样的数据集对分割结果提升会有多大帮助。标注更大规模的数据集是否依然有必要？语义分割研究可否摆脱这样耗时耗力的标注？

3. AutoML在语义分割任务上未来的发展潜力如何？

4. 现在语义分割主要依赖于mean IoU作为评测指标，那么在工业界应用或者学术界研究中我们是否还需要更多更有效地评测指标来评测分割的质量？

5. 语义分割、实例分割、全景分割有什么异同？在工业界和学术界又分别有什么意义？

6. 现在语义分割在各个benchmark上都取的了不错的结果，那么还存在什么亟待解决的难题？语义分割有哪些新的研究方向？

7. 语义分割没有考虑序列信息，那么视频语义分割还可以从哪些角度切入?

8. 近来图卷积技术大热，那么在语义分割上的发展潜力如何呢？

   
   

Panel嘉宾：

赵恒爽（The Chinese University of Hong Kong）、俞刚（旷视科技）、魏云超（UIUC）、沈小勇（腾讯优图）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：赵恒爽 (The Chinese University of Hong Kong)

报告时间：2019年5月29日（星期三）晚上20:00（北京时间）

报告题目：Pixel-Level Image Understanding with Semantic Segmentation and Panoptic Segmentation

报告人简介：

Hengshuang Zhao is currently a fourth year Ph.D. student at The Chinese University of Hong Kong, supervised by Prof. Jiaya Jia. Before that, he received the B.E. degree from Huazhong University of Science and Technology in 2015. His general research interests cover the broad area of computer vision and deep learning, with special emphasis on high-level image recognition and pixel-level image understanding. He and his team won 1st places in ImageNet Scene Parsing Challenge 2016, LSUN Semantic Segmentation Challenge 2017 and WAD Drivable Area Segmentation Challenge 2018. Part of his research projects are supported by SenseTime, Adobe, Uber and Intel. His works have been cited for about 1200 times.

个人主页：

https://hszhao.github.io/

报告摘要：

Pixel-Level image understanding is a fundamental while challenging task in computer vision. It predicts dense values for all pixels in the image, and is regarded as a very important task that can help achieve a deep understanding of scene, objects, and human. In this talk, I will mainly cover the topics of semantic segmentation and panoptic segmentation. For each topic, I will first go through recent deep learning based approaches and then detail our latest efforts with Point-wise Spatial Attention Network (PSANet) for semantic segmentation and Unified Panoptic Segmentation Network (UPSNet) for panoptic segmentation. Finally, I will discuss some existing problems and the remaining challenges.

参考文献：

[1] Pyramid Scene Parsing Network, CVPR 2017. 

Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia.

[2] ICNet for Real - Time Semantic Segmentation on High - Resolution Images, ECCV 2018.

Hengshuang Zhao, Xiaojuan Qi, Xiaoyong Shen, Jianping Shi, Jiaya Jia.

[3] PSANet: Point - wise Spatial Attention Network for Scene Parsing, ECCV 2018.

Hengshuang Zhao, Yi Zhang, Shu Liu, Jianping Shi, Chen Change Loy, Dahua Lin, Jiaya Jia.

[4] UPSNet: A Unified Panoptic Segmentation Network, CVPR 2019.

Yuwen Xiong, Renjie Liao, Hengshuang Zhao, Rui Hu, Min Bai, Ersin Yumer, Raquel Urtasun.

报告嘉宾：俞刚（旷视科技）

报告时间：2019年5月29日（星期三）晚上20:30（北京时间）

报告题目：Context For Semantic Segmentation

报告人简介：

俞刚博士现为旷视科技研发总监，Detection 组负责人，2014年毕业于新加坡南洋理工大学。博士毕业后在南洋理工大学从事 research fellow 的研发工作。2014 年底加入旷视科技公司。其研究方向主要集中在计算机视觉以及机器学习方面，包括物体检测，语义分割，行人姿态估计以及人体动作行为分析。已经在顶级会议以及期刊上面发表学术论文二十余篇。同时著有书籍一本。俞刚博士带队参加 2017 COCO+Places 挑战赛获得检测第一名，人体姿态估计第一名；接着带队参加 2018 COCO+Mapillary 挑战赛，获四项第一。

个人主页：

http://www.skicyyu.org/

报告摘要：

Semantic segmentation is a fundamental problem in computer vision society. The main challenge is how to deal with the ambiguities when the pixels have similar appearance but different categories. Context information is an important cue to deal with the problem. In this talk, I will provide four approaches to model the context information in the image, covering the backbone, head and loss in the network design. Competitive results have been reported based on the semantic segmentation benchmarks.

参考文献：

[1] Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network, Chao Peng, Xiangyu Zhang, Gang Yu, Guiming Luo, Jian Sun，CVPR, 2017

[2] Learning a Discriminative Feature Network for Semantic Segmentation

Changqian Yu, Jingbo Wang, Chao Peng, Changxin Gao, Gang Yu, Nong Sang, CVPR, 2018

[3] BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation, Changqian Yu, Jingbo Wang, Chao Peng, Changxin Gao, Gang Yu, Nong Sang, ECCV, 2018

[4] http://presentations.cocodataset.org/ECCV18/COCO18-Panoptic-Megvii.pdf

Panel嘉宾：魏云超（UIUC）

嘉宾简介：

魏云超博士， 2016年获得北京交通大学信号与信息处理专业博士学位，导师为赵耀教授；2013年到2017年之间在新加坡国立大学跟随颜水成博士和冯佳时博士从事访问学者和博士后的研究工作；现为美国伊利诺伊大学香槟分校Thomas Huang教授的博士后研究员；迄今发表学术论文40余篇，包括PAMI, CVPR, ICCV, ECCV, NIPS等，Google Citation 1600+。魏云超博士曾获得2019年澳大利亚ARC DECRA Fellow, 2016年中国电子学会和北京交通大学优秀博士论文奖，ImageNet视觉挑战赛在图像物体检测任务（ILSVRC-2014）和视频物体检测任务（ILSVRC-2017）的冠亚军，第二届LIP竞赛在三个human parsing任务上的冠军；曾担任T-PAMI, CVPR等本领域主流期刊/会议的审稿人。其研究领域涉及计算机视觉和多媒体分析，主要包括：多标签分类，物体检测，语义分割，弱监督/半监督学习，多模态数据分析等。

个人主页：

https://weiyc.github.io

Panel嘉宾：沈小勇（腾讯优图）

嘉宾简介：

沈小勇博士，现为腾讯优图X-Lab研发负责人，2016年博士毕业于香港中文大学，导师为贾佳亚教授。之后在香港中文大学从事博士后研究。2017年5月加入腾讯优图，带领团队负责视频理解中台，工业视觉和自动驾驶感知方向的研究和落地。技术落地于微信QQ等各大产品，也赋能于外部的众多合作伙伴。他迄今共发表顶级论文30余篇，包括TPAMI，SIGGRAPH，CVPR，ICCV，ECCV和NIPS等。研究领域涉及计算机视觉，计算机图形学和机器学习。主要包括图像恢复与增强，运动与深度估计，语义分割，点云理解等。

个人主页：

http://xiaoyongshen.me/

主持人：程明明（南开大学）

主持人简介：

程明明，1985年生。2012年博士毕业于清华大学，之后在英国牛津从事计算机视觉研究，并于2014年回国任教，2016年起任南开大学教授，获得国家“万人计划”青年拔尖人才，首批天津市杰出青年基金资助。其主要研究方向包括：计算机图形学、计算机视觉、图像处理等。已在IEEE PAMI, ACM TOG等CCF-A类国际会议及期刊发表论文40余篇。相关研究成果论文他引11,000余次，最高单篇他引2,700余次。其研究成果在华为、腾讯等公司的旗舰产品中得以应用。其中，显著性物体检测技术被华为Mate 10等旗舰手机作为亮点特性，于产品发布会中展示。其研究工作曾被英国《BBC》、德国《明镜周刊》、美国《赫芬顿邮报》等权威国际媒体撰文报道。

个人主页：

https://mmcheng.net/

19-12期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“12期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：程明明（南开大学）

协办AC：魏云超（UIUC）、高常鑫（华中科技大学）

责任AC：张姗姗（南京理工大学）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I群已满，除讲者等嘉宾外，只能申请加入VALSE J群，群号：734872379）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺空间，请在爱奇艺关注Valse Webinar进行观看。

赵恒爽[slides]

俞刚[slides]