20200603-14 深度神经网络的压缩与加速 - 后浪可以更精彩

报告时间：2020年06月03日（星期三）晚上21:00（北京时间）

主题：深度神经网络的压缩与加速 - 后浪可以更精彩

主持人：徐畅（The University of Sydney） 

报告嘉宾：王云鹤（华为诺亚方舟实验室） 

报告题目：模型压缩在工业和学术上的差异

报告嘉宾：王培松（中国科学院自动化研究所）

报告题目：极低比特定点量化及其硬件加速

Panel议题：

1. 机器学习平台是公有云中增长最快的服务之一。是否有必要考虑将网络压缩算法集成为在线的机器学习服务，其中有哪些挑战与机遇？

2.大多数网络压缩算法在GPU集群上进行训练学习，其压缩后的神经网络，如何 “无缝” 部署到其他“低功耗”设备上，如手机上的NPU、IoT设备上的单片机、FPGA等？

3. 近年ICLR CVPR ICCV论文中，有指出压缩网络受网络结构影响，跟使用pretrained参数并没有很大关系，使用随机初始化也能达到好的效果。这是否意味着结构的重要性远远大于参数初始化？

4. 我们可以通过NAS（Neural Architecture Search）技术搜索的到一个体积小并且性能不错的神经网络模型，那么进行网络压缩技术研究的意义在哪里？

5. 遵循“没有免费午餐”定理，应根据实际问题选择合适的方法。对于具体的计算机视觉应用场景而言，如何针对性的进行网络压缩？

Panel嘉宾：

王云鹤（华为诺亚方舟实验室）、王培松（中国科学院自动化研究所）、余家辉（Google Brain）、林绍辉（National University of Singapore）、谭明奎（华南理工大学）、程健（中国科学院自动化研究所）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：王云鹤（华为诺亚方舟实验室）

报告时间：2020年06月03日（星期三）晚上21:00（北京时间）

报告题目：模型压缩在工业和学术上的差异

报告人简介：

王云鹤，在华为诺亚方舟实验室从事边缘计算领域的算法开发和工程落地，研究领域包含深度神经网络的模型裁剪、量化、蒸馏和自动搜索等。在相关领域发表学术论文40余篇，包含NeurIPS、ICML、CVPR、ICCV、TPAMI、AAAI、IJCAI等。多项自研算法落地公司产品，包含2019和2020年发布的手机。端侧AI算法亮相华为HDC 2020。主导的加法神经网络项目受到了公司内外的广泛关注。

个人主页：

http://www.wangyunhe.site/

报告摘要：

深度神经网络压缩与加速是近五年内非常热的一个研究课题，该技术可以帮助高精度的AI模型迅速落地。但是在实际的项目中，并不是所有的算法都能尽如人意。在这个报告中，我们会针对几种典型的模型压缩和加速算法进行分析，分享在华为HDC 2020上的展示案例。

参考文献：

[1] Packing Convolutional Neural Networks in the Frequency Domain, IEEE TPAMI, 2019.

[2]Data-Free Learning of Student Networks, ICCV, 2019.

报告嘉宾：王培松（中国科学院自动化研究所）

报告时间：2020年06月03日（星期三）晚上21:30（北京时间）

报告题目：极低比特定点量化及其硬件加速

报告人简介：

王培松，中国科学院自动化研究所模式识别国家重点实验室助理研究员。2013年于山东大学获得学士学位；2018年在中国科学院自动化研究所获得博士学位。2018年进入中国科学院自动化研究所模式识别国家重点实验室，担任助理研究员岗位。目前主要从事深度学习、计算机视觉、神经网络高效计算等方面的研究。在CVPR、ECCV、AAAI、 IJCAI等国际期刊和会议上发表论文十余篇。

个人主页：

https://dblp.uni-trier.de/pers/hd/w/Wang:Peisong

报告摘要：

深度学习在越来越多的领域取得飞跃性进展，然而模型存储和计算复杂度却越来越高，严重妨碍了深度学习模型在实际场景中的大规模部署。因此，以低比特量化为代表的模型压缩和加速技术成为最近几年学术界和工业界最为关注的焦点之一，对深度学习的进一步落地具有重要意义。然而，低比特量化目前还存在很多问题，尤其是对精度的影响严重。本次报告将重点介绍我们近期在极低比特定点量化以及硬件加速方面的研究进展，包括Binary量化、Ternary量化、One-hot量化、幂次方量化等极低比特量化，并探讨不同优化方式对最终结果的影响以及低比特定点量化未来研究方向。

参考文献：

[1] Peisong Wang*, Xiangyu He*, Gang Li, Tianli Zhao and Jian Cheng, “Sparsity-inducing Binarized Neural Networks”, AAAI, 2020.

[2] Weixiang Xu, Xiangyu He, Tianli Zhao, Qinghao Hu, Peisong Wang and Jian Cheng. “Soft Threshold Ternary Networks”, IJCAI, 2020.

[3] Gang Li, Peisong Wang, Zejian Liu, Cong Leng, Jian Cheng. Hardware Acceleration of CNN with One-Hot Quantization of Weights and Activations. DATE 2020.

[4] Fanrong Li, Zitao Mo, Peisong Wang, Zejian Liu, Jiayun Zhang, Gang Li, Qinghao Hu, Xiangyu He, Cong Leng, Yang Zhang and Jian Cheng. A System-Level Solution for Low-Power Object Detection. (ICCV workshop), 2019.

Panel嘉宾：余家辉（Google Brain）

嘉宾简介：

Jiahui Yu is now a research scientist at Google Brain. He received his PhD at University of Illinois at Urbana-Champaign in 2020, advised by Professor Thomas Huang. Previously he received a Bachelor with distinction at School of the Gifted Young in Computer Science, University of Science and Technology of China in 2016. He has interned at Microsoft Research Asia, Face++/Megvii, Adobe Research, Snap Research, Jump Trading, Baidu Research, Nvidia Research, and Google Brain. His research interest lies in visual perception, generative models, sequences, and high performance computing.

个人主页：

https://jiahuiyu.com/

Panel嘉宾：林绍辉（National University of Singapore）

嘉宾简介：

Shaohui Lin is currently a Research Fellow in Computer Science at National University of Singapore, Singapore. He received Ph.D. degree from Xiamen University, Xiamen,China, in 2019. He is the author of about 10 scientific articles at top venues, including IEEE TPAMI, TNNLS, CVPR, IJCAI, and AAAI. He serves as reviewers for IJCV, PR, IEEE TNNLS, TMM, CVPR, etc. His research interests include machine learning and computer vision.

个人主页：

https://sites.google.com/site/shaohuilin007/home

Panel嘉宾：谭明奎（华南理工大学）

嘉宾简介：

谭明奎，男，博士，华南理工大学教授、博士生导师。2006年和2009年于湖南大学获得环境科学与工程学士学位与控制科学与工程硕士学位。2014年获得新加坡南洋理工大学计算机科学博士学位。随后在澳大利亚阿德莱德大学计算机科学学院担任计算机视觉高级研究员。自2016年9月全职回国以来，主持了国家自然科学基金青年项目、广东省新一代人工智能重点研发项目等多个重点项目。谭明奎教授一直从事机器学习和深度学习方面的研究工作，在深度神经网络结构优化及理论分析方面具有一定的研究基础。近年来以一作或者通讯作者完成的相关成果发表于人工智能顶级国际会议如NIPS、ICML、ACML、AAAI、CVPR、IJCAI和人工智能权威期刊如IEEE TNNLS、IEEE TIP、IEEE TSP、IEEE TKDE、JMLR等。

个人主页：

https://tanmingkui.github.io/

Panel嘉宾：程健（中国科学院自动化研究所）

嘉宾简介：

程健，中国科学院自动化研究所模式识别国家重点实验室研究员、博士生导师、南京人工智能芯片创新研究院常务副院长。分别于1998年和2001年在武汉大学获理学学士和硕士学位，2004年在中国科学院自动化研究所获模式识别与智能系统博士学位。目前主要从事深度学习、图像与视频内容分析、人工智能芯片设计等方面研究，在相关领域发表学术论文100余篇。相关成果曾先后获得中科院卢嘉锡青年人才奖、中国图象图形学学会科技二等奖等。

个人主页：

www.nlpr.ia.ac.cn/jcheng

主持人：徐畅（The University of Sydney）

主持人简介：

徐畅，悉尼大学计算机学院讲师（助理教授）。主要关注机器学习算法及其在计算机视觉中的应用，如多视角学习、对抗学习、人体行为分析及图像生成等。在人工智能领域重要国际会议和期刊发表论文50余篇，包括ICML、NIPS、IJCAI、AAAI、IEEE T-PAMI和IEEE T-IP等。

个人主页：

https://www.sydney.edu.au/engineering/about/our-people/academic-staff/c-xu.html

20-14期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“14期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：徐畅（The University of Sydney）

协办AC：林绍辉（National University of Singapore）

责任AC：欧阳万里（The University of Sydney）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE M群，群号：531846386）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺、B站、西瓜视频，请在搜索Valse Webinar进行观看。

王云鹤 [slides]

王培松 [slides]