20200218-02 元学习与小样本学习(Meta Learning and Few Shot Learning)

报告时间：2020年02月18日（星期二）晚上20:00（北京时间）

主题：元学习与小样本学习 (Meta Learning and Few Shot Learning)

报告主持人：郭裕兰（国防科技大学）

报告嘉宾：孟德宇（西安交通大学）

报告题目：基于元学习的鲁棒深度学习

报告嘉宾：乔思远（Johns Hopkins University）

报告题目：Few-Shot Image Recognition by Predicting Parameters from Activations

Panel议题：

1. 小样本学习的定义是什么？仅仅靠小样本进行视觉学习是否可能？当前类似mini-imagenet评测协议定义的few-shot问题是否合适？

2. 零示例、小样本和噪声标注可能会在哪些现实应用场景取得突破？

3. 元学习还可以应用于那些任务或研究领域，如网络结构搜索等？

4. 元学习与其他机器学习问题如迁移学习、弱监督学习、自监督学习之间的区别与联系？

5. 元学习关注的核心问题是什么？未来元学习研究中有哪些值得关注的理论和技术？

6. 相对于大样本学习，元学习方法的性能是否有理论上限，能否探讨和建立元学习的泛化能力模型？

Panel嘉宾：

孟德宇（西安交通大学）、乔思远（Johns Hopkins University）、付彦伟（复旦大学）、苏航（清华大学）、孙倩茹（新加坡管理大学）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：孟德宇（西安交通大学）

报告时间：2020年02月18日（星期二）晚上20:00（北京时间）

报告题目：基于元学习的鲁棒深度学习

报告人简介：

孟德宇，西安交通大学教授，博导。任西安交大大数据算法与分析技术国家工程实验室机器学习教研室负责人。共接收/发表论文80余篇，其中包括IEEE汇刊论文34篇，CCF A类会议论文37篇。目前主要聚焦于自步学习、误差建模、张量稀疏性等机器学习与计算机视觉领域的基础研究问题。

个人主页：

http://dymeng.gr.xjtu.edu.cn

报告摘要：

在现实复杂环境下，用以训练的数据标记通常包含大量噪声（错误标记）。采用数据加权的方式是对该噪声标记问题一种通用的方法，例如侧重于易分类样本的自步学习方法与侧重于难分类样本的boosting算法等。然后，目前对数据加权仍然缺乏统一的学习模式，且一般总要涉及超参数选择的问题。本报告讲汇报一种新的元学习方法，通过在无偏差元数据的引导下，能够对存在偏差的噪声标记数据的训练模式进行有效的调节与控制，从而在很大程度上避免了超参数调节的问题，并通过数据驱动的方式实现了自适应选择权重赋予的方式。通过在噪声标记数据集上的测试，初步验证了该方法的有效性与稳定性.

参考文献：

[1] Jun Shu, Qi Xie, Lixuan Yi, Qian Zhao, Sanping Zhou, Zongben Xu, Deyu Meng. Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting. NeurIPS, 2019.

报告嘉宾：乔思远（Johns Hopkins University）

报告时间：2020年02月18日（星期二）晚上20:30（北京时间）

报告题目：Few-Shot Image Recognition by Predicting Parameters from Activations

报告人简介：

Siyuan Qiao is a fourth-year Ph.D. student at Johns Hopkins University, where he is advised by Bloomberg Distinguished Professor Alan Yuille. Before that, he received B.E. in Computer Science at Shanghai Jiao Tong University. He has also spent time at Adobe Inc., Baidu IDL, University of California, Los Angeles, and YITU Technology. His research interest lies in computer vision and deep learning.

个人主页：

https://www.cs.jhu.edu/~syqiao/

报告摘要：

In this paper, we are interested in the few-shot learning problem. In particular, we focus on a challenging scenario where the number of categories is large and the number of examples per novel category is very limited, e.g. 1, 2, or 3. Motivated by the close relationship between the parameters and the activations in a neural network associated with the same category, we propose a novel method that can adapt a pre-trained neural network to novel categories by directly predicting the parameters from the activations. Zero training is required in adaptation to novel categories, and fast inference is realized by a single forward pass. We evaluate our method by doing few-shot image recognition on the ImageNet dataset, which achieves state-of-the-art classification accuracy on novel categories by a significant margin while keeping comparable performance on the large-scale categories. We also test our method on the MiniImageNet dataset and it strongly outperforms the previous state-of-the-art methods.

参考文献：

[1] Qiao, Siyuan, et al. "Few-shot image recognition by predicting parameters from activations." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.

Panel嘉宾：付彦伟（复旦大学）

嘉宾简介：

苏航，清华大学计算机系 副研究员。主要关注对抗机器学习、人工智能的可解释理论、计算机视觉等。先后CVPR、ECCV和NIPS等人工智能顶级国际会议和期刊发表论文50余篇，并荣获ICME2018“铂金最佳论文”, AVSS2012“最佳论文奖”和MICCAI2012的“青年学者奖”。

个人主页：

http://www.suhangss.me

Panel嘉宾：孙倩茹（新加坡管理大学）

嘉宾简介：

孙倩茹，新加坡管理大学助理教授，博士生导师。主要研究领域为计算机视觉和机器学习。感兴趣的研究课题有图像识别，图像生成，小样本学习等。

个人主页：

http://qianrusun.com

主持人：郭裕兰（国防科技大学）

主持人简介：

郭裕兰，国防科技大学副研究员。主要研究领域为三维视觉，包括点云特征学习、深度估计与三维场景理解，在IEEE TPAMI、IJCV和CVPR等国际期刊和会议上发表学术论文80余篇，其中ESI热点论文1篇，高被引论文4篇，论文被引用2500余次。合著英文专著1部，著作章节1章。担任中国图象图形学学会三维视觉专业委员会秘书长，IEEE TPAMI专刊客座编辑，IET Computer Vision和IET Image Processing期刊编委（AE），CVPR2021和ICPR2020会议领域主席（AC）。曾获中国人工智能学会优秀博士学位论文奖（2016）和吴文俊人工智能优秀青年奖（2019）。

个人主页：

yulanguo.me

20-02期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“02期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：左旺孟（哈尔滨工业大学）

协办AC：沈为（上海大学）

责任AC：郭裕兰（国防科技大学）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE L群，群号：641069169）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺空间，请在爱奇艺关注Valse Webinar进行观看。

孟德宇[slides]

乔思远[slides]