20200701-17 高精度+高效率：NAS的发展趋势

报告时间：2020年07月01日（星期三）晚上19:00（北京时间）

主题：高精度+高效率：NAS的发展趋势

主持人：王云鹤（华为诺亚方舟实验室）

报告嘉宾：欧阳万里（悉尼大学）

报告题目：快速有效的NAS和基于NAS启发的模型压缩

报告嘉宾：常晓军（蒙纳士大学）

报告题目：Knowledge Distillation for Block-wisely Supervised NAS

Panel议题：

1. NAS在很多任务上都得到了应用，尤其是计算机视觉相关的任务上。NAS搜索出来的模型都达到了业界最好的性能。但是， NAS所带来的性能提升与他的成本相比，是否是物超所值的呢？

2. NAS是在一个数据集一个任务上尽可能地对网络结构进行优化，那么NAS搜索出来的模型可以被应用于其它数据集和其它任务吗？

3. 由于Google开源了NASBench-101，最近开始有更多的工作在讨论利用精度预测器来构建NAS系统。虽然，这类算法可以解决性能评估的不准确性，但是预测器的训练需要大量的精细训练的深度神经网络作为样本，是否有必要构建更大的NAS数据集？

4. 对于给定的搜索空间，NAS产生了一系列具有更高精度的神经网络结构。这其中有一些与之前的结构是相似的也有不相似的，比如多分支的网络架构，这些结构对未来的架构设计和搜索空间的设计有什么启发呢？

5. NAS的算法同时存在很多个优化问题，比如我们要同时优化权重和架构的参数，有些时候我们也会涉及到多个任务多个数据集一起搜索，比如检测任务。把所有问题都放在一起进行搜索肯定是最理想的求解方案，但是也带来了求解的不稳定性，各位老师针对NAS里面的这些优化难题有没有什么好的建议？

Panel嘉宾：

欧阳万里（悉尼大学）、常晓军（蒙纳士大学）、纪荣嵘（厦门大学）、严骏驰（上海交通大学）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：欧阳万里（悉尼大学）

报告时间：2020年07月01日（星期三）晚上19:00（北京时间）

报告题目：快速有效的NAS和基于NAS启发的模型压缩

报告人简介：

欧阳万里于香港中文大学电子工程系获得博士学位。悉尼大学高级讲师。ICCV最佳审稿人，IJCV客座编辑（Guest Editor），IEEE高级会员，ICCV2019展示主席。担任TPAMI, IJCV, TOG, TIP, CVPR, ICCV, SIGGRAPH等期刊/会议的审稿人。研究方向包括计算机视觉，模式识别，深度学习，图像处理等。主要从事基于深度学习结构设计，物体检测与跟踪，以及与人相关的问题的课题研究。据http://www.guide2research.com/scientists/AU信息，其H-index在澳大利亚计算机专业排名第65。

个人主页：

https://wlouyang.github.io/

报告摘要：

神经网络结构搜索 （NAS）近期引起了学界和工业界的高度关注。许多网络搜索算法需要耗费大量的算力。本次报告将介绍如何极大降低网络结构搜索所需时间的同时保证搜索到网络结构的质量。我们发现，在更合理的搜索方式下，可以在极大压缩计算量的同时，搜到更好的模型。基于这些系统研究，我们提出了一个层次化的搜索方法，EcoNAS，在将进化算法加速400倍的同时，得到了更好的模型。本次报告将进一步介绍我们如何在NAS的启发下设计一个对2D和3D卷积都可以进行有效模型压缩的多维网络压缩方法。

参考文献：

[1] Dongzhan Zhou*, Xinchi Zhou*, Wenwei Zhang, Chen Change Loy, Shuai YI, Xuesen Zhang, W. Ouyang, “EcoNAS: Finding Proxies for Economical Neural Architecture Search”, CVPR, 2020.

[2] Jinyang Guo, W. Ouyang, Dong Xu, “Multi-Dimensional Pruning: A Unified Framework for Model Compression”, CVPR, 2020, accepted.

报告嘉宾：常晓军（蒙纳士大学）

报告时间：2020年07月01日（星期三）晚上19:30（北京时间）

报告题目：面向逐块监督NAS的知识蒸馏

报告人简介：

常晓军博士毕业于悉尼科技大学，目前就职于澳大利亚蒙纳士大学。主要从事人工智能、计算机视觉和多媒体技术等方向的研究，近五年来发表学术论文76篇，包括TPAMI、IJCV和领域内ACM/IEEE汇刊以及CCF A类会议。曾于2018年获得澳大利亚研究理事会的DECRA Fellowship。

个人主页：

https://www.xiaojun.ai/

报告摘要：

本次报告将介绍一种新型的基于逐块监督的网络架构搜索方法。首先，我们将讨论如何将大型搜索空间模块化，以提高one-shot NAS的效率。然后，我们将讨论一种新的蒸馏方法，以逐块方式监督系统搜索。最后，我们将介绍多单元超网设计以及有效的评估和搜索算法。

参考文献：

[1] Changlin Li, Jiefeng Peng, Liuchun Yuan, Guangrun Wang, Xiaodan Liang, Liang Lin, and Xiaojun Chang. Block-wisely Supervised Neural Architecture Search with Knowledge Distillation. CVPR 2020.

[2] Miao Zhang, Huiqi Li, Shirui Pan, Xiaojun Chang, and Steven Su. Overcoming Multi-Model Forgetting in One-Shot NAS with Diversity Maximization.

Panel嘉宾：纪荣嵘（厦门大学）

嘉宾简介：

纪荣嵘，主要研究方向为计算机视觉、多媒体技术和机器学习。研究侧重点是开发大数据驱动的计算机智能处理系统，进行视觉场景理解、视觉行为分析、多媒体内容理解、及视觉内容检索。当前的研究兴趣还包括面向视觉搜索的紧凑描述子、社会多媒体大数据分析、场景深度推理、人群行为理解、以及遥感图像分析等。70余篇科研论文发表于国际期刊PAMI、IJCV、TIP和国际会议CVPR、ICCV、IJCAI、AAAI、ACM Multimedia上，曾获得2007年微软学者奖、2011年ACM Multimedia最佳论文奖、2015年黑龙江省自然科学二等奖，2016年教育部技术发明一等奖，2018年福建省科技进步一等奖。

个人主页：

https://mac.xmu.edu.cn/rrji/

Panel嘉宾：严骏驰（上海交通大学）

嘉宾简介：

严骏驰，上海交通大学计算机系长聘轨副教授，CCF优博，上海交通大学人工智能教育部重点实验室主任助理。主持国家自然基金面上等多个项目。主要研究兴趣为图与时序数据的机器学习，特别是组合优化问题的机器学习。曾任IBM中国研究院主管研究员/认知计算首席科学家。发表CCF A类论文60余篇，授权美国发明专利20余项，连续两届被评为IBM全球发明大师。任CVPR Area Chair、CIKM Senior PC、IEEE TNNLS、Pattern Recognition、PR Letters等期刊责任客座编辑。

个人主页：

http://thinklab.sjtu.edu.cn/

主持人：王云鹤（华为诺亚方舟实验室）

主持人简介：

王云鹤，在华为诺亚方舟实验室从事边缘计算领域的算法开发和工程落地，研究领域包含深度神经网络的模型裁剪、量化、蒸馏和自动搜索等。在相关领域发表学术论文40余篇，包含NeurIPS、ICML、CVPR、ICCV、TPAMI、AAAI、IJCAI等。多项自研算法落地公司产品，包含2019和2020年发布的手机。端侧AI算法亮相华为HDC 2020。主导的加法神经网络项目受到了公司内外的广泛关注。

个人主页：

https://www.wangyunhe.site

20-17期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“17期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：欧阳万里（悉尼大学）

协办AC：常晓军（蒙纳士大学）、王云鹤（华为诺亚方舟实验室）

责任AC：王兴刚（华中科技大学）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE M群，群号：531846386）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺、B站、西瓜视频，请在搜索Valse Webinar进行观看。

欧阳万里 [slides]

常晓军 [slides]