18-30期VALSE Webinar会后总结
重庆大学张磊研究员2018年9月26日VALSEWebinar 成功举办。张磊，重庆大学微电子与通信工程学院研究员，博士生导师，重庆市生物感知与智能信息处理重点实验室副主任，LiVE智能学习与视觉团队负责人（www.leizhang.tk），CCF计算机视觉专委会委员，CAAI智能服务专委会委员，IEEE Senior Member。2013年博士毕业于重庆大学，2013年6月至9月在清华大学深圳研究院、哈尔滨工业大学深圳研究院访问交流，2013年10月至2015年9月为香港理工大学计算机系博士后研究员，2017年12月至2018年5月为澳门大学计算机与信息科学系访问学者。主要聚焦于迁移学习、深度学习、跨领域视觉大数据建模与理解和机器嗅觉与味觉方面的智能理论与应用研究等，部分仿生技术和算法已产品化。主持国家自然科学基金（青年和面上）、重庆市人工智能重大专项、重庆市留学生创新创业支持计划等研究项目14项；目前已在IEEE TNNLS、TIP、TMM、TCYB、TIM、TSMCA、TCBB以及ICCV、ACM MM、IJCNN等会议上发表论文70余篇，中科院一区论文12篇，3篇论文入选ESI高被引论文，2篇入选ESI热点论文，撰写英文专著1部，发明专利15项。曾担任WRJB期刊主编和JECE期刊首席客座编辑；担任20余个国际学术会议IEEE TENCON /ICONIP /SSCI /ICCT等会议的最佳论文奖评审主席、荣誉主席、分会主席、地区主席和特邀讲者；担任IEEE TIP/TNNLS /TIE /TCYB/ TMM /TIM /TCSVT /TSMCA /TCAS /PR等50余个国际期刊审稿人。曾获CCBR最佳论文奖、香江学者奖、重庆市优秀博士学位论文奖、杰出审稿人奖、重庆市自然科学优秀学术论文奖、重庆大学黄尚廉院士青年创新奖等，并于2013年入选香江学者计划，于2015年入选重庆大学“百人计划”。
张磊研究员Webinar的题目为：迁移学习和领域自适应方法及应用。
在报告中，张磊研究员首先回顾了近年来迁移学习在计算机视觉任务中的发展与应用，包括浅层模型与深度模型。统计机器学习在人工智能研究和应用中起着至关重要的作用。然而，建立有效的机器学习模型需要大量标记的训练数据，而特定目标领域的数据标记过程需要耗费大量的人力物力，且十分耗时。因此，通过利用相关的且已标记的源域数据辅助模型的训练和学习，用于标记样本稀缺或完全无标记的弱标记目标域数据的精确识别已成为主流。随着大数据的爆炸式增长，数据的异质性日益突出。随之而来的问题是多域数据的独立同分布（i.i.d.）假设不成立，从而导致传统的机器学习性能下降或失效。近年来，用于解决标记数据稀缺和域间分布差异化问题的迁移学习（TL）和领域自适应（DA）作为典型的弱监督学习范式受到了极大的关注，并在很多智能化应用中包括图像识别、人脸识别、自然语言处理、遥感数据分析、医学图像分析、虚拟现实等领域取得了巨大的成功。本报告中，将介绍迁移学习/领域自适应的概念基础和过去10年来最新研究进展。此外，张磊研究员介绍了他们的研究团队近年来在TL / DA方面的研究工作，包括分类器自适应模型（EDA，TIP16），子空间重建迁移学习（LSDT，TIP16; CRTL，ICCV17），公共子空间迁移学习（CDSL，TIM17），流形准则迁移模型（MCTL，TNNLS18）和自我对抗迁移网络（AdvNet，ACM MM17）。
问答部分：
问题1：迁移学习问题里面，数据domain不同，是不是标签空间也不同？回答：目前主要研究的内容都基于相同标签空间。虽然迁移学习可以针对联合概率分布不同的问题，但更多还是研究marginal分布不同的情况，也就是标签空间分布是通常假设一致的，比如每个domain都是针对C类的问题。
问题2：目前有没有关于时序数据的迁移学习方法，比如视频序列的迁移？回答：现在的研究方法主要集中在静态图像数据。视频序列的迁移还没有见到，但是是一个很有意义的方向。其实，迁移学习是解决分布差异的学习问题，对应用场景并不受限。
问题3：实际研究过程中怎样选择合适的迁移方法呢？回答：我们一般要针对具体任务和数据特点选择合适的迁移方法。如果针对应用中，要采用深度学习的话，可以构造深度特征迁移模型。
问题4：迁移学习等于预训练吗?回答：两者是不等价的。一般我们认为预训练是迁移学习的一种方式。实际上，迁移学习的理论与方法比预训练要宽泛的多，有自己的理论基础。并且，预训练一般都是指在深度学习的框架之下，选择一种较好的初始参数，然后通过调优的方式提高target数据集上的分类精度。迁移学习显然还包括很多具体的浅层学习模型，比如我们常见的MMD及其变体。
问题5：关于zero-shotlearning最新的研究方向大概有哪些?回答：零样本学习ZSL是目前比较前沿的弱监督学习方法，主要研究思路还是考虑semantic embedding，通过构建可见类样本的特征，标签和语义嵌入之间的关系，实现对不可见类样本的标签预测。
问题6：理论上MMD要求的函数是非线性的，那么理论上线性函数不能满足要求？回答：MMD要求的函数F实际上需要满足两个条件，才能满足MMD的两个性质。当且仅当两个分布p和q相等时，MMD=0，要求F必须足够rich。为了使MMD的经验估计能够随着样本规模的增大迅速收到到它的期望，要求F足够restrictive。作者证明当F是universal RKHS上的单位球时，可以满足这两个要求。
问题7：做多模态问题时，有没有必要让多个数据源的表达特征尽可能近？回答：迁移学习可以用于解决跨域，跨媒体和跨模态的学习问题。再进行多模态研究时，一般从两个角度，第一种就是学习度量，使得两个模态的数据信息更加相似，学习出两个模态共同的特征。比如可见光与近红外人脸识别。另一种，就是结合多模态的特征信息，将其modality-specific的特征进行级联，提升识别效果。
问题9：迁移学习可以用于ImageCaption吗？回答：迁移学习是可以用于image caption的。Image caption相当于是学习图像特征到文本的一种映射，如果遇到图像分布差异时，这种映射可能会性能下降。因此，也需要利用迁移学习首先完成特征分布的对齐，这样会提升cross-domain下的image caption性能。
问题10：Stargan这种，对于不同数据集上的不同领域的迁移学习，有没有什么见解？是否了解其他的相关工作？回答：我们组也在做cycleGAN在迁移学习中的应用，这里的迁移主要是目标分布下的图像合成，在跨姿态人脸识别方面以及Re-ID方面都有很多的工作，通过生成与目标分布一致的图像，并对合成的图像进行特征表示和识别。这个方向比较热。
录像视频在线观看地址：http://www.iqiyi.com/u/2289191062
PPT链接：http://vision.ouc.edu.cn/valse/slides/20180926/VALSE2018-Lei%20Zhang.pdf
特别鸣谢本次Webinar主要组织者：VOOC责任委员：刘日升（大连理工）
活动参与方式：1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；4、活动过程中，请不要说无关话语，以免影响活动正常进行；5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。
页:
[1]