20210421-11 总第237期 无师自通：自监督学习

报告嘉宾：山世光 (中科院计算所)

报告题目：利用解耦-验算思想的自监督学习

报告嘉宾：田渊栋 (Facebook AI Research)

报告题目：Understanding representation learning without negative pairs

Panel嘉宾：

山世光 (中科院计算所)，田渊栋 (Facebook AI Research)，谢伟迪 (牛津大学)，武智融 (微软亚洲研究院)

Panel议题：

1. 在课题组没有大量的计算资源的情况下，如何开展无监督学习研究？

2. 图像领域，OpenAI CLIP展示了zero-shot的能力，即不需要任何带标签数据进行微调。然而还仅限于简单的图像分类，能否设计以物体为中心的自监督学习，如检测，分割，并直接在下游任务，无标签微调情况下直接应用?

3. 视频领域，自监督学习的机遇与挑战?

4. 自监督学习中，目前常通过图片增强操作生成样本数据，如何考虑他们和源数据的差异性分布？如何增强才能得到一个好的自监督模型训练？

5. 视觉领域的预训练模型的实现路径是什么？与语言领域的预训练模型会有何区别？主要挑战何在？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：山世光 (中科院计算所)

报告时间：2021年04月21日 (星期三)晚上21:30 (北京时间)

报告题目：利用解耦-验算思想的自监督学习

报告人简介：

山世光，中科院计算所研究员、博导，中国科学院大学岗位教授，中科院智能信息处理重点实验室常务副主任。国家基金委优青，国家高层次人才特殊支持计划领军人才，腾讯科学探索奖获得者，国务院特殊津贴专家，CCF青年科学家奖获得者。研究领域为计算机视觉、模式识别、机器学习，在国内外刊物和学术会议上发表论文300余篇，其中CCF A类论文100余篇，论文被国内外同行引用23000余次。现/曾任IEEE TIP, CVIU, PRL, Neurocomputing, FCS等国际学术刊物的编委(AE)，曾任CVPR，ICCV，AAAI和IJCAI等十余次国际学术会议的Area Chair。研究成果获2015年度国家自然科学二等奖，2005年度国家科技进步二等奖。

报告摘要：

报告将重点介绍我们近期完成的利用“解耦-验算”自监督思想的相关工作：第一个工作采用大量无标注人脸视频，通过解耦面部动作和头部姿态并形成自验算损失（Loss），实现面部动作的自监督表示学习。第二个工作则对面部视频时空图进行生理信号P与非生理信号N的解耦，并利用交换不同视频P/N形成自验算损失的自监督思想，以充分利用相对小规模PPG标注视频数据进行心率估计。第三个工作则利用视频中人物同一只眼睛的特征不变、同一帧图像中左右眼视线相近这两个事实，通过解耦和交换并形成自验算loss，以实现视点表示的自监督学习。报告最后将总结这三个工作背后的“自监督思想”，以期对听众有所启发。

报告嘉宾：田渊栋 (Facebook AI Research)

报告时间：2021年04月21日 (星期三)晚上22:00 (北京时间)

报告题目：Understanding representation learning without negative pairs

报告人简介：

Yuandong Tian is a Research Scientist and Manager in Facebook AI Research, working on deep reinforcement learning, representation learning and optimization. He is the lead scientist and engineer for ELF OpenGo and DarkForest Go projects. Prior to that, he was in Google Self-driving Car team in 2013-2014. He received a Ph.D in Robotics Institute, Carnegie Mellon University in 2013. He is the recipient of 2013 ICCV Marr Prize Honorable Mentions.

报告摘要：

While using contrastive loss in self-supervised learning (SSL) makes intuitive sense, recent works like BYOL and SimSiam show that even without negative pairs, good representation can still be learned, leading to remarkable performance of downstream tasks. How this is possible remains an open question. In this talk, we perform a systematic theoretical analysis on the nonlinear training dynamics of a linear non-contrastive SSL model. Our analysis reveals the secret why training with positive pairs only can avoid representational collapse, and show the critical roles played by extra predictor and stop-gradient, as well as pros and cons of different hyper-parameters like weight decay, separate learning rate of the predictor and exponential moving average. To further justify our finding, we propose DirectPred, a novel approach that directly sets the weight of the predictor for SSL based on input statistics. DirectPred outperforms gradient-based training of the linear predictor by ~5% and performs comparably with two-layer non-linear predictors in STL-10, CIFAR-10 and ImageNet.

Panel嘉宾：谢伟迪 (牛津大学)

嘉宾简介：

Weidi Xie is a Research Fellow at Visual Geometry Group (VGG), working on video understanding, self-supervised learning. Prior to that, he received Ph.D in 2018, also from VGG.

Panel嘉宾：武智融 (微软亚洲研究院)

嘉宾简介：

Zhirong Wu is a senior researcher at Microsoft Research Asia. He received his BEng from Tsinghua University and PhD from CUHK. He did a Postdoc at UC Berkeley after his PhD. His current research interests include self-supervised learning for visual search.

21-11期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号 (valse_wechat)，后台回复“11期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：姬艳丽 (电子科技大学)、欧阳万里 (悉尼大学)