20190911-23 「浓缩的都是精华」之网络压缩

报告时间：2019年9月11日（星期三）晚上20:00（北京时间）

主题：「浓缩的都是精华」之网络压缩

报告主持人：魏秀参（旷视）

报告嘉宾：程健（中科院自动化所）

报告题目：神经网络模型量化压缩：从算法到芯片

报告嘉宾：林绍辉（新加坡国立大学）

报告题目：Deep neural networks compression and acceleration

Panel议题：

1.  对于工业界而言，模型压缩与轻量级小网络之间该如何抉择？轻量级网络小而快，但在某些特定任务上往往面临泛化性不如同级别ResNet的窘境；但是将一个大模型压缩到足够小的程度，也通常会面临性能损失过大的问题。在这种情况下，除了“试一下”之外，是否存在更加high-level的指导建议？

2.  模型剪枝是网络压缩中常用的一种方法。最近有研究[1]指出，如果对剪枝后的小模型进行重新训练，也能达到相似的精度，甚至更好。他们认为剪枝的真正价值是在做一种“隐式的网络结构搜索”而不是选择重要的权重，这不禁让我们联想到最近大火的NAS（Neural Architecture Search）。那么，结构是否优于权重[2]？剪枝的意义在哪里？结构搜索[3]是否会替代网络剪枝？

3.  在实际应用中存在着一个有趣的现象：给定一个大网络（如VGG16、ResNet50），如果先在ImageNet上进行剪枝得到一个小网络，再将剪枝后的小网络拿到小数据集（如CUB200）上进行fine-tune，会比直接在小数据集上进行模型剪枝好很多。其中固然存在小数据集数据量不足的问题，但在实际问题中，我们所面对的数据量也很少会达到ImageNet的级别，而每次都先在ImageNet上进行剪枝似乎也不太现实。对此，是否存在一个较好的解决方案？

4.  现有的方法几乎都只是在图片分类这一问题上进行模型压缩。压缩，实质上就是在减少模型的容量，这不可避免地会对泛化性造成影响。那么，在检测、分割等任务上进行模型压缩与在分类上进行压缩有什么不同？在实际中，我们该如何尽可能地提升检测、分割的推理速度，现在是否已经有一套比较成熟的处理流程？

5.  模型压缩通常包含剪枝、量化、知识蒸馏等领域分支，在实际应用中，该如何充分结合这几种方法来降低模型复杂度？

[1] Rethinking the Value of Network Pruning, ICLR2019

[2] 以往的观点是训练一个over-parameterized的大模型会取得更好的效果，因为网络的初始权重很重要，直接训练小模型很容易过拟合。

[3] 直接搜一个小模型

Panel嘉宾：

程健（中科院自动化所）、林绍辉（新加坡国立大学）、沈春华（阿德莱德大学）、谭明奎（华南理工大学）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：程健（中科院自动化所）

报告时间：2019年9月11日（星期三）晚上20:00（北京时间）

报告题目：神经网络模型量化压缩：从算法到芯片

报告人简介：

程健，中国科学院自动化研究所模式识别国家重点实验室研究员、博士生导师、南京人工智能芯片创新研究院常务副院长。分别于1998年和2001年在武汉大学获理学学士和硕士学位，2004年在中国科学院自动化研究所获模式识别与智能系统博士学位。目前主要从事深度学习、图像与视频内容分析、人工智能芯片设计等方面研究，在相关领域发表学术论文100余篇，英文编著二本。相关成果曾先后获得中科院卢嘉锡青年人才奖、中科院青年促进会优秀会员奖（、中国电子学会自然科学一等奖、教育部自然科学二等奖、中国图象图形学会科技二等奖等。目前是IEEE、ACM、CCF等国际国内学术组织的成员，担任中国自动化学会模式识别专委会副秘书长。现任国际期刊Pattern Recognition、IET Computer Vision的编委，曾任2010年ICIMCS国际会议主席、HHME 2010组织主席、CCPR 2012出版主席、ICIG 2019 special Session主席。

个人主页：

http://www.nlpr.ia.ac.cn/jcheng

报告摘要：

近年来，深度学习在图像分析、语音识别、自然语言处理等诸多问题上取得了突飞猛进的发展，已经成为众多智能系统和应用中不可或缺的关键技术。随着深度学习模型性能不断提高，其计算复杂度和资源消耗也不断增加，这给网络模型的部署带来重大挑战，特别是在资源受限的边缘端设备上尤为显著。如何高效低耗地计算这些网络模型正成为一个关键问题。本报告将从量化学习的角度介绍深度神经网络模型的高效计算。首先介绍基于量化学习的模型压缩和加速方法；然后是基于算子级加速的量化引擎；最后介绍基于量化计算架构和芯片。

参考文献：

[1] Jian Cheng, Peisong Wang, Gang Li, Qinghao Hu, Hanqing Lu. Recent Advances in Efficient Computation of Deep Convolutional Neural Networks. Frontiers of Information Technology & Electronic Engineering (FITEE), Vol.19, No.1, pp.64-77, 2018.

[2] Jiaxiang Wu, Cong Leng, Yuhang Wang, Qinghao Hu, Jian Cheng. Quantized Convolutional Neural Networks for Mobile Devices. CVPR 2016.

[3] Peisong Wang, Jian Cheng. Fixed-point Factorized Networks. CVPR 2017.

[4] Xiangyu He, Jian Cheng. Learning Compression from Limited Unlabeled Data. ECCV 2018.

[5] Gang Li, Fanrong Li, Tianli Zhao, Jian Cheng. Block Convolution: Towards Memory-Efficient Inference of Large-Scale CNNs on FPGA. DATE 2018.

报告嘉宾：林绍辉（新加坡国立大学）

报告时间：2019年9月11日（星期三）晚上20:30（北京时间）

报告题目：Deep neural networks compression and acceleration

报告人简介：

Shaohui Lin is currently a Research Fellow in Computer Science at National University of Singapore, Singapore. He received Ph.D. degree from Xiamen University, Xiamen, China, in 2019. He is the author of about 10 scientific articles at top venues, including IEEE TPAMI, TNNLS, CVPR, IJCAI, and AAAI. He serves as reviewers for IJCV, IEEE TNNLS and TMM, etc. His research interests include machine learning and computer vision.

个人主页：

https://sites.google.com/site/shaohuilin007/home

报告摘要：

Deep neural networks (DNNs) have developed rapidly and achieved remarkable success in many artificial intelligence (AI) applications, such as image understanding, speech recognition and natural language processing, which have been one of the research focuses in AI. However, with the high performance improvement of DNNs, the networks have become deeper and wider, which significantly increases the number of parameters and computation complexity. How to compress and accelerate these large DNNs has received ever-increasing focus from both academic and industrial research. Aiming at the problem of parameter redundancy in DNNs, this talk presents general methods of low-rank decomposition, parameter pruning and knowledge distillation for DNNs compression and acceleration, especially for convolutional neural networks (CNNs) compression and acceleration.

参考文献：

[1] S. Lin, R. Ji, C. Chen, D. Tao, and J. Luo. Holistic cnn compression via low-rank decomposition with knowledge transfer. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.

[2] S. Lin, R. Ji, C. Yan, B. Zhang, L. Cao, Q. Ye, F. Huang, and D. Doermann. Towards optimal structured cnn pruning via generative adversarial learning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2790–2799, 2019.

[3] S. Lin, R. Ji, X. Guo, and X. Li. Towards convolutional neural networks compression via global error reconstruction. In International Joint Conference on Artificial Intelligence, pages 1753–1759, 2016.

[4] S. Lin, R. Ji, Y. Li, C. Deng, and X. Li. Toward compact convnets via structure-sparsity regularized filter pruning. IEEE transactions on neural networks and learning systems, 2019.

[5] S. Lin, R. Ji, Y. Li, Y. Wu, F. Huang, and B. Zhang. Accelerating convolutional networks via global & dynamic filter pruning. In International Joint Conference on Artificial Intelligence, 2018.

Panel嘉宾：沈春华（阿德莱德大学）

嘉宾简介：

沈春华博士现任澳大利亚阿德莱德大学计算机科学学院教授(终身教职)。2011之前在澳大利亚国家信息通讯技术研究院堪培拉实验室的计算机视觉组工作近6年。目前主要从事统计机器学习以及计算机视觉领域的研究工作。主持多项科研课题，在重要国际学术期刊和会议发表论文120余篇。担任或担任过副主编的期刊包括：Pattern Recognition, IEEE Transactions on Neural Networks and Learning Systems。多次担任重要国际学术会议(ICCV, CVPR, ECCV等)程序委员。他曾在南京大学(本科及硕士)，澳大利亚国立大学(硕士)学习，并在阿德莱德大学获得计算机视觉方向的博士学位。2012年被澳大利亚研究理事会(Australian Research Council)授予Future Fellowship。

个人主页：

https://cs.adelaide.edu.au/~chhshen/

Panel嘉宾：谭明奎（华南理工大学）

嘉宾简介：

谭明奎，男，博士，华南理工大学教授、博士生导师。2006年和2009年于湖南大学获得环境科学与工程学士学位与控制科学与工程硕士学位。2014年获得新加坡南洋理工大学计算机科学博士学位。随后在澳大利亚阿德莱德大学计算机科学学院担任计算机视觉高级研究员。谭明奎教授于于2018年入选广东省“珠江人才团队”。自2016年9月全职回国以来，主持了国家自然科学基金青年项目、广东省新一代人工智能重点研发项目等多个重点项目。谭明奎教授一直从事机器学习和深度学习方面的研究工作，在深度神经网络结构优化及理论分析方面具有一定的研究基础。近年来以一作或者通讯作者完成的相关成果发表于人工智能顶级国际会议如NIPS、ICML、ACML、AAAI、CVPR、IJCAI和人工智能权威期刊如IEEE TNNLS、IEEE TIP、IEEE TSP、IEEE TKDE、JMLR等。

个人主页：

https://tanmingkui.github.io/

主持人：魏秀参（旷视）

主持人简介：

魏秀参，博士，旷视南京研究院院长，南京大学学生创业导师，VALSE执行AC。主要研究领域为计算机视觉和机器学习，在相关领域顶级期刊如IEEE TPAMI、IEEE TIP、IEEE TNNLS、Machine Learning Journal等及顶级会议如CVPR、ICCV、IJCAI、ICDM、ACCV等发表论文二十余篇，并带队获得iNaturalist、Apparent Personality Analysis等国际权威计算机视觉竞赛共3项世界冠军。在重要国际会议PRICAI 2018和ICME 2019分别组织题为“Fine-Grained Image Analysis”的tutorial。著有《解析深度学习——卷积神经网络原理与视觉实践》一书。曾获CVPR 2017最佳审稿人、南京大学博士生校长特别奖学金等荣誉，担任ICCV、CVPR、ECCV、NIPS、IJCAI、AAAI等国际会议PC member。

个人主页：

http://www.weixiushen.com/

19-23期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“23期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：魏秀参（旷视）

协办AC：纪荣嵘（厦门大学）、明悦（北京邮电大学）

责任AC：林倞（中山大学）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J群已满，除讲者等嘉宾外，只能申请加入VALSE K群，群号：691615571）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺空间，请在爱奇艺关注Valse Webinar进行观看。

程健[slides]

林绍辉[slides]