18-14期VALSE Webinar会后总结

程一-计算所

今日头条人工智能实验室杨建朝博士2018年5月23日VALSE Webinar 成功举办。

杨建朝，今日头条硅谷人工智能实验室Director，2011年毕业于美国UIUC并获得博士学位，师从著名华人学者Thomas Huang。在加入今日头条之前，他是Snap研究院创建者之一，并担任Snap的首席研究科学家和技术主管。其主要研究方向：计算机视觉、机器学习、深度学习和视频图像处理。在计算机视觉与机器学习领域共发表学术论文80余篇，包括顶级期刊IEEE T-PAMI，IEEE T-IP，IEEE T-MM和计算机视觉顶级会议CVPR, ICCV, ICML, NIPS等，论文总引用次数超过10000次。他是2011年ICCV最佳学生论文奖获得者，并多次在诸如PASCAL VOC, ImageNet等国际挑战赛中获得冠军。

杨建朝博士Webinar的题目为：WSNet: Learning Compact and Efficient Networks through Weight Sampling.

在报告中提到对于深度学习的实际应用，我们一直在追求更加高效的模型。在今天介绍的工作中，我们提出了一个新的网络设计方法WSNet，可以学习到更小更快的深度卷积网络。在现有的深度卷积网络中，卷积滤波器的参数是分别做初始化和训练的，除了有共同的训练目标函数外，这些参数没有其它的显式关联。为了压缩模型的大小，很多工作在模型训练结束后用各种方法压缩训练的到的参数。与这些工作不同，我们的方法从一开始就把不同卷积滤波器参数显式关联起来。这些不同卷积滤波器参数是从一个很紧凑的可以训练的参数集中采样得到的，所以在训练过程中，我们可以很自然的要求不同的卷积滤波器一定程度上共享参数，从而大大降低模型的尺寸。并且，基于我们特殊的采样方法，我们的新提出的网络计算复杂度在理论上大幅领先对应的传统网络。我们把WSNet应用在一维和二维的卷积网络上做识别任务，在不同的通用数据集上，我们的方法在保证同样的准确度下，网络的尺寸可以压缩高达两个数量级，网络计算提速可以高达一个数量级。

问答部分：

问题1：论文的源代码基于什么语言写的？是否会开源？什么时候会公布？在哪里可以下载？

回答： 论文的实现基于Tensorflow。我们会开源，并在ICML最终文章版本里面公布代码的地址。

问题2：Condensed Filter如何训练？是不是先训练好然后再Sampling？Sampling后的参数是否需要再训练？所提出的方法收敛速度怎么样？大概要训练多久？

回答：Condensed Filter是由Back propagation训练得到的。卷积网络中的卷积滤波器参数由Condensed Filter采样方程得到。我们利用传统的Back propagation先得到卷积滤波器参数的Gradients，这些Gradients经由采样方程方向传播到Condensed Filter。WSNet的训练速度相对传统网络训练较慢，大约慢一倍左右。

问题3：Condensed filter是怎么设置的？有什么先验吗？尺寸需要设置很大吗？

回答：Condensed Filter的尺寸设计需要寻求一个平衡，尺寸越小，参数的复用率越高，模型就越小，但是模型的表达力就越小。反之，Condensed Filter的尺寸越大，模型就越大，但是表达力上升。可以根据实际应用来调整Condensed Filter大小和滤波器参数采样步长。

问题4：文章里Channel Repeating和Channel Attention 有什么关联吗？能否分享一下您对Channel去冗余思路的一些思考？

回答：Channel Repeating跟Channel Attention没什么关系。在我们的实验里发现，在Channel的维度，模型的冗余度很高，为了计算加速的需要，我们尝试了最简单的Channel Repeating，并且取得了很不错的效果。对于一维的卷积网络，Channel Repeating可以有物理的解释，就是信号在不同的频段有大致类似的趋势，所以在一定程度上可以复用同样的滤波器。以往的方法是先用很多Channel来得到很多特征，然后再用1x1的卷积降维，我们的方法直接压缩需要的Channel数量来得到更小的模型。

问题5：Model size变小会有什么缺陷？

回答：Model size变小通常会让模型的泛化能力变差，模型更加容易过拟合。所以对于训练更小的模型，模型的结构设计就很重要，不同的模型结构泛化能力是不同的。

问题6：大多针对网络加速和压缩的技术，实验都是在分类问题上的，请问老师有针对回归问题的吗，比如说图像重建问题的？

回答：在一般的回归问题上，我们还没有尝试过，但是相信同样的技术可以应用上来。

录像视频在线观看地址：

http://www.iqiyi.com/u/2289191062

特别鸣谢本次Webinar主要组织者：

VOOC责任委员：李策（兰州理工大学）

VODB协调理事：郑海永（中国海洋大学）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。