20181024-33 罗平：浅谈深度学习：归一化的正则与泛化

报告嘉宾：罗平（香港中文大学）

报告时间：2018年10月24日（星期三）晚上20:00（北京时间）

报告题目：浅谈深度学习：归一化的正则与泛化

主持人：欧阳万里（悉尼大学）

报告人简介：

罗平，2011至14年港中文攻读博士师从汤晓鸥和王晓刚，16至17年商汤研究院访问任研究总监，18年港中文研究助理教授。近5年发表论文70余篇Google Scholar引用4700余次。其工作具开创性，例如最早把深度学习用于行人、人脸分割、与人脸生成(CVPR12, ICCV13, NIPS14)；首先提出CNN求解MRF用于语义分割等 (ICCV15, PAMI16)；其人脸关键点工作(ECCV14, PAMI15)是多任务深度学习的代表性工作。他主导建立多个数据集如DeepFashion，CelebA，ComprehensiveCar和WIDERFace等。近期提出深度神经网络白化与归一化方法，例如GWNN (ICML17), EigenNet (IJCAI17), Switchable Normalization (arXiv:1806.10779), BN Regularization (arXiv:1809.00846) 与Kalman Normalization (NIPS18)等。

Ping Luo received his PhD degree in 2014 from Information Engineering, the Chinese University of Hong Kong (CUHK), supervised by Xiaoou Tang and Xiaogang Wang. He was a Postdoctoral Fellow in CUHK from 2014 to 2016. He visited SenseTime Research in 2017. He join the department of Electronic Engineering, CUHK as a Research Assitant Professor in 2018. His research interests are machine learning and computer vision. He has published 70+ peer-reviewed articles in top-tier conferences and journals such as CVPR, ICML, NIPS, TPAMI, and IJCV. His work has 4500+ citations in Google Scholar. For instance, he has presented the first deep models for face parsing and generation in CVPR12, ICCV13 and NIPS14, the first MRF+CNN model for semantic image segmentation in ICCV15, and the first deep multitask model for facial landmark detection in ECCV14. He also built multiple benchmarks for the community such as DeepFashion, CelebA, ComprehensiveCar and WiderFace. His current interests focus on whitening and normalization techniques in deep learning such as GWNN (ICML17), EigenNet (IJCAI17), Kalman Normalization (NIPS18), Switchable Normalization (arXiv:1806.10779), BN Regularization (arXiv:1809.00846). He received a number of awards for his academic contribution such as Microsoft Research Fellow Award 2013 and HK PhD Fellow Award 2011.

个人主页：

personal.ie.cuhk.edu.hk/~pluo/

报告摘要：

一个卷积层，一个归一化层，一个非线性激活函数一起构成了深度卷积神经网络 (ConvNet)的“原子”结构。通过该基础结构的堆叠，产生了许多应用广泛的神经网络。归一化方法是这些神经网络的重要组成部分之一。本次报告的内容围绕深度学习的归一化方法展开，及其为神经网络带来的正则能力与泛化能力。报告分为四个部分。第一部以白化网络（Whitened Neural Network，WNN）为例，浅析神经网络前向计算与反向传播的关系：表明修改前向计算，将可以直接影响深度网络的费希尔信息矩阵 (Fisher Information Matrix，FIM)，也将影响随机梯度优化过程。第二部分介绍WNN的一个特例——Batch Normalization (BN)的正则能力与泛化性能。BN的原始文章认为BN为训练ConvNet带来“隐式”正则。我们将这种“隐式”正则显示的表达出来：即BN=Population Normalization (PN) + Gamma衰减。它们可以直观体现BN对FIM的影响。第三部分提出并回答深度学习中一个新的问题——ConvNet中的每一个归一化层是否需要使用不同的归一化操作？我们使用Switchable Normalization (SN)来解决这个问题。SN通过可微分学习为ConvNet的每一个归一化层选择合适的操作。它具有普适性且能够广泛应用。我们还给出了SN的几何解释。报告的最后一部分介绍归一化技术的扩展，包括Instance-Batch Normalization Network (IBN-Net)和卡尔曼归一化(Kalman Normalization)。

参考文献：

[1] Guillaume Desjardins, Karen Simonyan, Razvan Pascanu, Koray Kavukcuoglu. “Natural Neural Networks”, NIPS 2015

[2] Sergey Ioffe, Christian Szegedy. "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", ICML 2015

[3] Ping Luo. “Learning Deep Architectures via Generalized Whitened Neural Networks”,  ICML 2017

[4] Ping Luo. “EigenNet: Towards Fast and Structural Learning of Deep Neural Networks”, IJCAI 2017

[5] Ping Luo, Jiamin Ren, Zhanglin Peng, Ruimao Zhang, Jingyu Li. "Differentiable Learning-to-Normalize via Switchable Normalization", arXiv:1806.10779, 2018

[6] Ping Luo, Xinjiang Wang, Wenqi Shao, Zhanglin Peng. "Towards Understanding Regularization in Batch Normalization", arXiv:1809.00846, 2018

[7] Guangrun Wang, Jiefeng Peng, Ping Luo, Xinjiang Wang, Liang Lin. "Kalman Normalization", NIPS 2018

[8] Xingang Pan, Ping Luo, Jianping Shi, Xiaoou Tang. "Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net", ECCV2018.

18-33期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“33期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

VOOC责任委员：欧阳万里（悉尼大学）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。

[slides]