20200812-20 「见微知著」(2) - 细粒度视觉检索特辑

报告嘉宾：宋一晢 (University of Surrey)

报告题目：Fine-Grained Visual Analysis: From Classification to Retrieval

报告嘉宾：刘武 (京东AI研究院)

报告题目：产业级通用目标重识别开源库FastReID：从研究到应用

Panel嘉宾：

宋一晢 (University of Surrey)、刘武 (京东AI研究院)、王旗龙 (天津大学)、明悦 (北京邮电大学)、王正 (东京大学)

Panel议题：

1. 细粒度图像识别和检索的差异？

2. 细粒度视觉有哪些重要实际应用？有哪些重要场景？

3. 细粒度视觉数据库有哪些？标注困难的问题如何解决？当前自监督和半监督学习对细粒度视觉研究有何益处？

4. 从近几年国际相关顶级会议或可发现传统细粒度图像识别工作有渐趋减少的端倪，未来细粒度图像分析领域会如何发展、趋势为何？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：宋一晢 (University of Surrey)

报告时间：2020年8月12日(星期三)晚上20:00(北京时间)

报告题目：Fine-Grained Visual Analysis: From Classification to Retrieval

报告人简介：

宋一晢是英国萨里大学 (University of Surrey)视觉语音信号中心(CVSSP) 教授(Reader)，SketchX实验室主任(sketchx.ai)，萨里-科大讯飞人工智能联合实验室主任。分别于2003 年和2009 年在英国巴斯大学(University of Bath)获得理学一等荣誉学位和计算机科学的博士学位，在取得博士研究学位之前，宋教授在英国剑桥大学(University of Cambridge)获得了计算机科学硕士学位，其毕业论文被计算机实验室(Computer Laboratory)授予当年的杰出论文奖。主要研究领域包括计算机视觉，计算机图形学，模式识别，机器学习。发表论文100 余篇，如ACM TOG, IJCV, IEEE TIP, IEEE TVCG等国际知名期刊，和ICML, CVPR, ICCV, ECCV, AAAI等领先的国际会议，曾获2015年BMVC最佳论文奖(Best Science Paper Award)。宋教授还先后是英国玛丽女王大学和英国萨里大学人工智能研究生课程的发起人和领头人。目前，宋教授是Higher Education Academy会士，IEEE高级会员，以及BMVA(英国机器视觉协会)的成员。宋教授还是英国工程和物理科学基金委(EPSRC)评审委员会委员，主持了累计价值超过200万英镑的多个项目。

个人主页：

https://www.surrey.ac.uk/people/yi-zhe-song

报告摘要：

Dog lovers do not stop at calling any dog a “dog”, but their specific species (e.g., Labrador, Chihuahua, etc). This is the goal of fine-grained visual classification, i.e., differentiating sub-categories of a common visual category. Research has flourished in recent years, with impressive results reported on fine-grained categorisation of birds, flowers, airplanes, and cars. A common dilemma faced by fine-grained classification is however the assumption of subject-specific knowledge which is not commonplace for everyone – most people will just stop at calling a dog, just “dog”.

This dilemma not only makes dataset generation non-trivial which consequently bottlenecks the general progression of the field, but also renders the counterpart problem of retrieval ill-posed – one needs to know the specific species of a dog first before conducting retrieval. In this talk, we will focus on this problem of fine-grained retrieval, and ask ourselves the following questions (i) what does fine-grained retrieval entail? i.e., shall we just stop at calling a dog “Chihuahua”?, (ii) what input modality is best suited for fine-grained retrieval? i.e., is text sufficient?, and (iii) what can we do with human sketches in terms of fine-grained retrieval.

参考文献：

[1] Kaiyue Pang, Yongxin Yang, Timothy Hospedales, Tao Xiang, Yi-Zhe Song, Solving Mixed-modal Jigsaw Puzzle for Fine-Grained Sketch-Based Image Retrieval, IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2020).

[2] Ayan Kumar Bhunia, Yongxin Yang, Timothy Hospedales, Tao Xiang, Yi-Zhe Song, Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval, IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2020, Oral).

[3] Kaiyue Pang, Ke Li, Yongxin Yang, Timothy  Hospedales, Tao Xiang, Yi-Zhe Song, Generalising Fine-Grained Sketch-Based Image Retrieval, IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2019).

[4] Sounak Dey, Pau Riba, Anjan Dutta, Josep Llados, Yi-Zhe Song, Doodle to Search: Practical Zero-Shot Sketch-based Image Retrieval, IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2019, Oral).

[5] Song J, Yu Q, Song YZ, Xiang T, Hospedales TM. Deep spatial-semantic attention for fine-grained sketch-based image retrieval. (ICCV 2017).

[6] Yu Q, Liu F, Song YZ, Xiang T, Hospedales TM, Loy CC. Sketch me that shoe. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition  (CVPR 2016, Oral).

报告嘉宾：刘武 (京东AI研究院)

报告时间：2020年8月12日(星期三)晚上20:30(北京时间)

报告题目：产业级通用目标重识别开源库FastReID：从研究到应用

报告人简介：

刘武，现任京东AI研究院高级研究员，研究方向为多媒体与计算机视觉，在IEEE CVPR、ICCV、ACM MM、IJCAI、AAAI等一流国际会议和期刊上发表文章60余篇。曾获得了IEEE多媒体领域三大旗舰期刊和会议IEEE Tran. on Multimedia 2019最佳论文奖， IEEE Multimedia Magazine 2018最佳论文奖，IEEE ICME 2016最佳学生论文奖，以及中国科学院优秀博士学位论文奖等。刘武博士在京东曾率领团队获得过IEEE CVPR 2018全球人体姿态估计挑战赛两个任务的冠军，并打造了商品智能结算台、智慧园区ReID系统等落地产品。他还担任过国际会议ACM MM Asia 2021程序委员会主席, ICME 2019 网络主席, BIGMM 2018 宣传主席，ACM MM 2020&2019、ICIP 2017等领域主席。

个人主页：

https://drliuwu.com/

报告摘要：

京东AI研究院近日发布了基于PyTorch的通用目标重识别（ReID）开源库FastReID。该开源库不仅在行人重识别、车辆重识别等任务上取得了较好的评测结果，还具有高度模块化和可扩展的设计，帮助使用者快速实现新的研究思路。该开源工具库的发布也将对相关领域的研究起到积极的促进作用，同时加速技术产品落地应用。本次报告将着重介绍一下FastReID的基本功能、特点和技术创新，以及在智慧园区、智慧楼宇、智能供应链等实际应用落地时碰到的问题和解决方案。除此之外，本次报告还将介绍京东AI研究院目前正在打造的通用目标重识别产研闭环系统，以及相关的最新科研成果。

参考文献：

[1] FastReID: https://github.com/JDAI-CV/fast-reid.

[2] Xinchen Liu, Wu Liu*, Jinkai Zheng, Chenggang Yan, Tao Mei,Beyond the Parts: Learning Multi-view Cross-part Correlation for Vehicle Re-identification, ACM MM 2020.

[3] Lingxiao He, Wu Liu*: Guided Saliency Feature Learning for Person Re-identification in Crowded Scenes, ECCV 2020.

[4] Yu Sun, Yun Ye, Wu Liu*, Wenpeng Gao, Yili Fu, Tao Mei, "Skeleton-disentangling based Self-attention Temporal Network for Human 3D Mesh Recovery from Monocular Video", ICCV 2019.

[5] Lingxiao He, Yinggang Wang, Wu Liu, He Zhao, Zhennan Sun, Jiashi Feng, "Foreground-aware Pyramid Reconstruction for Alignment-free Occluded Person Re-identification", ICCV 2019.

[6] Kun Liu, Wu Liu*, Huadong Ma, Wenbing Huang, Xiongxiong Dong: Generalized zero-shot learning for action recognition with web-scale video data. World Wide Web 22(2): 807-824 (2019).

[7] Xinchen Liu, Wu Liu*, Tao Mei, Huadong Ma: PROVID: Progressive and Multimodal Vehicle Reidentification for Large-Scale Urban Surveillance. IEEE Trans. Multimedia 20(3): 645-658 (2018)  (Best Paper Awards).

Panel嘉宾：王旗龙 (天津大学)

嘉宾简介：

王旗龙，天津大学智能与计算学部助理教授，2018年毕业于大连理工大学，获得博士学位，主要研究方向是深度学习，概率分布建模和视频图像分析。目前发表学术论文30余篇，大多数发表在国际顶级会议CVPR/ ICCV/ ECCV/ NIPS/ IJCAI以及IEEE T-PAMI/ IEEE T-IP/ IEEE T-CSVT等国际权威期刊。曾获得2015年阿里巴巴大规模图像检索大赛第二名(2/853)、ICIP2015 Best 10% paper。CVPR, ICCV, ECCV, IJCAI, AAAI等会议以及IEEE T-IP, T-NNLS等期刊审稿人。入选2018年博士后创新人才计划，获得国家自然科学基金青年基金以及博士后基金等资助。

个人主页：

https://csqlwang.github.io/homepage/

Panel嘉宾：明悦 (北京邮电大学)

嘉宾简介：

明悦，现任北京邮电大学副教授，博士生导师。现就职于北京邮电大学电子工程学院信息电子技术与智能系统研究中心。长期从事图像视频处理、模式识别以及机器学习方面的研究工作，主持国家自然科学基金1项、曾参加过教育部博士点基金、973国家重点基础研究发展计划等项目。近期以第一作者身份发表相关论文40余篇，授权发明专利15项，其中美国发明专利3项。担任计算机视觉领域多个顶级国际期刊审稿人。

Panel嘉宾：王正 (东京大学)

嘉宾简介：

王正，2020年9月于东京大学特任助理教授，曾在日本国立信息学研究所任日本学术振兴会外国人特别研究员，研究方向为图像检索、行人重识别，在CVPR、ACM MM、IJCAI、AAAI等一流国际会议和期刊上发表文章30余篇。曾获PCM 2014最佳论文奖、ACM Wuhan优秀博士论文奖、中国图象图形学学会优秀博士学位论文提名奖、留日同学会最优秀青年学者奖、日本文部科学省卓越研究员候选人。王正博士还担任IEEE MIPR 2021专题讲座主席、ACM ICMR 2022出版主席，组织ICME 2020 Special Session “GNN for Multimedia Representation Learning”, ICMR 2020 Special Session “Human-Centric Cross-modal Retrieval”,CVPR 2020 Tutorial “Image Retrieval in the Wild”。 

个人主页：

https://wangzwhu.github.io/home/

主持人：魏秀参 (南京理工大学)

主持人简介：

魏秀参，博士，南京理工大学计算机科学与工程学院教授，南京大学学生创业导师，曾任旷视南京研究院创始院长。主要研究领域为计算机视觉和机器学习，在相关领域顶级期刊如IEEE TPAMI/ TIP/ TNNLS/ TKDE/ TMM、Machine Learning Journal等及顶级会议如CVPR、ICCV、ECCV、IJCAI、ICDM、ACCV等发表论文三十余篇，Google Scholar Citations1160余次，并带队获得iWildCam 2020、iNaturalist 2019、Apparent Personality Analysis 2016等计算机视觉领域国际权威赛事共4项世界冠军。分别在重要国际会议PRICAI 2018和ICME 2019组织题为 "Fine-Grained Image Analysis" 的tutorial。著有《解析深度学习--卷积神经网络原理与视觉实践》一书。曾获CVPR 2017最佳审稿人、南京大学博士生校长特别奖学金等荣誉，担任ICCV、CVPR、ECCV、NeurIPS、IJCAI、AAAI等国际会议PC member。

20-20期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号 (valse_wechat)，后台回复“20期”，获取直播地址

特别鸣谢本次Webinar主要组织者：

主办AC：魏秀参 (南京理工大学)

协办AC：明悦 (北京邮电大学)、王正 (东京大学)

责任AC：张姗姗 (南京理工大学)

活动参与方式：