20191009-26 神经网络架构搜索（NAS）

报告时间：2019年10月9日（星期三）晚上19:00（北京时间）

主题：神经网络架构搜索（NAS）

报告主持人：王兴刚（华中科技大学）

报告嘉宾：沈春华（阿德莱德大学）

报告题目：Efficient neural architecture search for dense prediction

报告嘉宾：闫俊杰（商汤科技）

报告题目：AutoML in Full Life Circle of  Deep Learning Assembly Line

Panel议题：

1. 随着 one-shot/differentiable NAS方法的流行，NAS的计算代价越来越小，但是类似的从超大网络中提取小网络的做法在剪枝(pruning)中也有用到，如何看待目前NAS和剪枝两者之间的关系？
2. NAS的搜索过程普遍存在着随机性较大的问题，如何更好的控制搜索的稳定性？
3. 现在不同NAS方法的搜索空间各异，所用的搜索策略(RL / EA / Gradient-Based)也不尽相同，如何制定更为清晰、公平的标准来评判NAS方法的好坏？
4. Differentiable NAS的方法最近引领了热潮，很多新的工作都采用这样的思路。未来会不会有其他更高效、搜索更精确的方法出现，有没有新的方法的思路可以研究？
5. NAS现在主流的两种搜索空间：基于cell的搜索空间内部有更复杂的节点连接、基于MobileNetV2 Block的搜索空间latency/FLOPs更为友好，在搜索空间上NAS未来会有哪些新的发展方向，如何在搜索的结构上获得更大的普适性？
6. NAS技术目前在工业应用中是锦上添花，还是提升效率解决问题的利器？
7. 在高校算力条件下，是否可以开展NAS的研究？aka 在算力限制的情况下如何开展NAS的研究？

Panel嘉宾：

沈春华（阿德莱德大学）、闫俊杰（商汤科技）、欧阳万里（悉尼大学）、谢凌曦（华为诺亚方舟实验室）、钟钊（华为中央媒体技术院）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：沈春华（阿德莱德大学）

报告时间：2019年10月9日（星期三）晚上19:00（北京时间）

报告题目：Efficient neural architecture search for dense prediction

报告人简介：

Chunhua Shen is a Professor at School of Computer Science，The University of Adelaide. His research interests are in the intersection of computer vision and statistical machine learning.

个人主页：

https://cs.adelaide.edu.au/~chhshen/

报告摘要：

The talk will cover Prof. Shen’s recent works on NAS for semantic segmentation, object detection and image restoration.

参考文献：

[1] Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells，Vladimir Nekrasov, Hao Chen, Chunhua Shen, Ian Reid，CVPR 2019，https://arxiv.org/abs/1810.10804.
[2] NAS-FCOS: Fast Neural Architecture Search for Object Detection, Ning Wang, Yang Gao, Hao Chen, Peng Wang, Zhi Tian, Chunhua Shen, https://arxiv.org/abs/1906.04423.
[3] IR-NAS: Neural Architecture Search for Image Restoration，Haokui Zhang, Ying Li, Hao Chen, Chunhua Shen，https://arxiv.org/abs/1909.08228.

报告嘉宾：闫俊杰（商汤科技）

报告时间：2019年10月9日（星期三）晚上19:30（北京时间）

报告题目：AutoML in Full Life Circle of  Deep Learning Assembly Line

报告人简介：

Junjie Yan is the CTO of Smart City Business Group and Vice Head of Research at SenseTime. He leads the R&D Team within Smart City Group to build systems and algorithms that make cities safer and more efficient. At SenseTime Research, he leads the Deep Learning Toolchian Team to build deep learning toolchain from algorithm components to distributed training and inference platform that scale up deep learning solutions to more than 700 customers. His research interests include deep learning and system.

个人主页：

http://yan-junjie.github.io

报告摘要：

This talk introduces a series of papers and best practices from SenseTime that aim to build deep learning assembly line with AutoML techniques in full life circle, including network architecture search, loss, data augmentation, data sampling, and model deployment.

参考文献：

[1] Efficient Neural Architecture Transformation Searchin Channel-Level for Object Detection, Junran Peng, Ming Sun, Zhaoxiang Zhang, Tieniu Tan, Junjie Yan, NeurIPS 2019, https://arxiv.org/abs/1909.02293.

Panel嘉宾：欧阳万里（悉尼大学）

嘉宾简介：

欧阳万里于香港中文大学电子工程系获得博士学位。悉尼大学高级讲师 ICCV最佳审稿人，IJCV客座编辑（Guest Editor），IEEE高级会员，ICCV2019展示主席。担任TPAMI, IJCV, TOG, TIP, CVPR, ICCV, SIGGRAPH等期刊/会议的审稿人。研究方向包括计算机视觉，模式识别，深度学习，图像处理等。主要从事基于深度学习的物体检测与跟踪，以及与人相关的问题的课题研究。作为一作在TPAMI和IJCV发表7篇文章。其团队参加ImageNet竞赛获得2015年视频物体检测第一，2016图像/视频物体检测第一，2018 COCO竞赛物体检测第一。

个人主页：

https://wlouyang.github.io

Panel嘉宾：谢凌曦（华为诺亚方舟实验室）

嘉宾简介：

Lingxi Xie is a senior researcher at Huawei Noah's Ark Lab. His research interests include computer vision, deep learning and medical image analysis.

个人主页：

http://lingxixie.com/

Panel嘉宾：钟钊（华为中央媒体技术院）

嘉宾简介：

Zhao Zhong is a principal engineer at Huawei. His research interests include AutoML, deep learning and computer vision.

个人主页：

N/A

报告主持人：王兴刚（华中科技大学）

主持人简介：

王兴刚，华中科技大学，电子信息与通信学院，副教授，研究生导师。主要研究方向为计算机视觉和机器学习，尤其在于物体检测和深度学习。分别于2009年和2014年在华中科技大学获得学士和博士学位（导师：刘文予教授）。2010年6月至2011年8月，美国天普大学（ Temple University）访问学者，2013年2月至2013年9月，美国加州大学洛杉矶分校（UCLA）访问学者（导师为霍金的学生Alan Yuille教授）。发表论文60余篇，其中包括（顶级期刊和会议IEEE TPAMI, CVPR, ICCV, ECCV, NIPS, ICML, AAAI）24篇。谷歌学术（Google Scholar）引用次数超过2400次。担任IEEE TPAMI, JMLR, IEEE TIP, IEEE T Cybernetics, PR, ICCV, CVPR, ECCV, NIPS, ICML, AAAI等期刊会议审稿人。担任中国图象图形学学会图象视频通信专业委员会秘书长，VALSE第二届资深AC委员会成员。2012年获“微软学者”奖（全亚洲10名获奖者），2015年入选中国科协“青年托举人才工程”（全国首批182人入选），2016年获湖北省优秀博士论文奖，入选华中科技大学“学术前沿青年创新团队”，2017年获中国电子教育学会优秀博士论文提名奖，湖北省自然科学二等奖（排名第四），Pattern Recognition等杂志优秀审稿人奖等，2018年获CCF-腾讯犀牛鸟基金优秀奖，ECCV'18大规模视频物体分割竞赛第二名。

个人主页：

https://xinggangw.info

19-26期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“26期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：王兴刚（华中科技大学）

协办AC：欧阳万里（悉尼大学）

责任AC：王楠楠（西安电子科技大学）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J群已满，除讲者等嘉宾外，只能申请加入VALSE K群，群号：691615571）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺空间，请在爱奇艺关注Valse Webinar进行观看。

沈春华[slides]

闫俊杰[slides]