17-19期VALSE Webinar会后总结

程一-计算所

中科院计算所 韩琥 副研究员 2017年8月30日VALSE Webinar 成功举办。

韩琥，中科院计算所副研究员，硕士生导师。2005年毕业于山东大学获学士学位，2011年毕业于中科院计算所获博士学位，之后分别在美国密歇根州立大学和美国谷歌总部从事生物特征识别研究工作，曾担任谷歌ATAP Abacus项目（智能设备身份认证）核心研发成员。2015年加入中科院计算所，主要研究方向为生物特征识别、计算机视觉及模式识别。先后在包括IEEE T-PAMI、IEEE T-IFS、PR、ECCV等本领域知名国际期刊与会议上发表学术论文30余篇，其中一作与通讯作者CCF-A类期刊长文7篇（一作T-PAMI长文2篇），谷歌学术引用超过940次（H-Index：18）；多次应邀担任ICB、IJCB、ACCV、CCBR等知名国内外生物特征识别与计算机视觉会议程序委员会委员。目前作为合作单位负责人参与国家基金委重点项目1项，作为项目负责人承担国家基金委面上项目1项和中科院-INRIA国际合作重点项目1项，作为课题骨干参与科技部973项目1项；曾作为技术负责人参与美国司法部和自然科学基金的模拟画像识别和人脸活体判别等多个项目。联合指导研究生获ICCV2015表观年龄识别竞赛亚军、CCBR2016最佳学生论文奖。更多介绍详见：http://www.escience.cn/people/hhan/index.html。

韩琥副研究员Webinar的题目为：Visual Attribute Learning: From STL to MTL.

在报告中，韩琥副研究员首先回顾了以ImageNet 大规模视觉识别挑战赛（ILSVRC）为代表的系列视觉识别任务，在推动了图像分类与目标识别方法上的发展历程。在ImageNet上，机器(算法)对图像分类的错误率从最初的28%降低到 2.9%，远低于人类5.1%的错误率。然而，视觉对象除了具有类别这一特征之外，还包含颜色、形状、部件等丰富的中层语义层面的视觉属性特征，这些视觉属性对于理解和描述视觉对象而言同样具有重要的作用。正如我们看到一个认识的人时，我们不仅一下想到这个人的名字，同时也会留意到这个人此时的穿着、发型、饰物、表情等多种视觉属性。丰富的视觉属性之间既有紧密的相关性又包含明显的差异性（异质性），如何对属性相关性与异质性进行建模，是鲁棒高效的视觉属性学习中重要的研究内容之一。此次报告从人脸对象的视觉属性学习出发，回顾相关的视觉属性学习工作，并对研究组在视觉属性学习方面的一些工作进行介绍和分享。

问答部分：

问题1：关于数据库属性标注的准确性：以CelebA的40个属性为例，有一些属性并不好区分，比如判断头发是不是直发，眉毛是不是拱形，不同人标注可能结果会有差异，那么怎么保证最终标注属性的准确无误。这是不是需要专业人士进行标注，或者是多个人标注减少误差？

回答：有些属性确实存在歧义性，比如浓眉大眼，不同的标注人员对浓眉大眼的理解是不一样的，因此会存在标注噪声。一种可能的解决方法是把相同标注的样本放在一起进行对比，将明显有差异的图像从这一类标注中提出。

问题2：关于attribute correlation ， 如何判断数据集中attribute 的相关性？

回答：我们计算了共生矩阵来说明许多属性间存在相关性，正相关或负相关，具体可以参见TPAMI17论文中的图示。

问题3：. Deep MTL 的网络前面的共享层为什么选择比较简单的AlexNet, 而不用VGG, ResNet？

回答：我们在实验中尝试过复杂网络如Inception V2, 但实验结果来看，仅仅是略有提升。考虑到实用性，我们还是选择了AlexNet。可能与属性学习这个问题有关。当然，理论上可以更换为其它大容量的网络。

问题4：不同属性间的关系是如何建模的？

回答：主要包括两步处理，在前端的网络被所有属性共享，希望学习对所有属性都有判别力的特征；后端通过不同的子网络对前面的特征进行微调，每个子网络只处理同一类的属性，比如序数型属性，这样该分支可以针对序数型属性对前面的特征进行精调。

问题5：异质性属性，怎么判别，怎么用？

回答：我们在论文中用了2个准则：（1）标称型属性和序数型属性，（2）全局属性与局部属性；标称型属性是指属性的取值没有序关系，仅仅是类别；序数型属性是指属性的取值有大小与顺序关系；标称型属性更适合以分类问题来处理，序数型属性总体上适合以回归问题来处理。同样的方式，可以理解全局属性和局部属性。

问题6：寻找到合适的相关任务才能更好地体现多任务的优点，那么你是如何寻找相关的多任务？你这里的多个任务是不是没分主次，权重都是相同的吗？

回答：我们这里寻找同质的任务时，就是基于上面所说的两个准确来划分的，符合统一准则的就是一类同质的属性。一些可以尝试的方法是属性聚类，得到一些相关的属性。 在网络训练中，每个子网络的loss都可以带一个权重，可以有不同的侧重。

录像视频在线观看地址： http://www.iqiyi.com/u/2289191062

活动参与方式：

1、VALSE Webinar活动全部网上依托VALSE QQ群的“群视频”功能在线进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过文字或语音与讲者交互；

2、为参加活动，需加入VALSE QQ群，目前A、B、C、D、E、F群已满，除讲者等嘉宾外，只能申请加入VALSE G群，群号：669280237 。申请加入时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M

3、为参加活动，请下载安装Windows QQ最新版，群视频不支持非Windows的系统，如Mac，Linux等，手机QQ可以听语音，但不能看视频slides；

4、在活动开始前10分钟左右，主持人会开启群视频，并发送邀请各群群友加入的链接，参加者直接点击进入即可；

5、活动过程中，请勿送花、棒棒糖等道具，也不要说无关话语，以免影响活动正常进行；

6、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

7、建议务必在速度较快的网络上参加活动，优先采用有线网络连接。