VALSE 论文速览第02期：探索简单孪生网络表征学习

2021-7-23 20:35| 发布者: 程一-计算所| 查看: 1129| 评论: 0

摘要: 为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE ...

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自Facebook AI Research的自监督学习工作SimSiam。该工作由Kaiming He和Xinlei Chen合作完成，获得了CVPR2021最佳论文荣誉提名，Xinlei录制了视频。

论文题目：探索简单孪生网络表征学习

作者列表：Xinlei Chen (FAIR)，Kaiming He (FAIR)

B站观看网址：

https://www.bilibili.com/video/BV1pg411M7b6/

论文摘要：

孪生网络是现在许多无监督表征学习模型里常见的结构。这些模型最大化来自同一张图片的两个不同的view，同时采用不同的约束条件来避免平凡解。在本文，我们发现简单的孪生网络就可以学到有意义的表征，不需要负样本对，不需要大batch，也不需要momentum encoder。实验表明平凡解是存在的，但只需要一个stop-grad操作就可以有效避免，并能在ImageNet和下游任务中取得不错的结果。论文中还讨论了stop-grad实际作用的假设，做了相应的验证性的实验。本文入选了CVPR 2021的口头报告，并获得了CVPR2021最佳论文奖提名。

论文信息：

[1] Xinlei Chen, Kaiming He, “Exploring Simple Siamese Representation Learning,” in Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR 2021), virtual, June 2021.

论文链接：

[https://arxiv.org/abs/2011.10566]

代码链接：

[https://github.com/facebookresearch/simsiam]

视频讲者简介：

陈鑫磊,本科和博士分别毕业于浙江大学和卡内基梅隆大学。目前就职于Facebook AI Research，主要从事计算机视觉，自然语言处理和机器学习的研究。