VALSE Student Club “师兄师姐带你学” 第1期：单目标视觉跟踪 (一) ...

视频主题：单目标视觉跟踪

视频讲者及主要参与者：陈鑫 (大连理工大学)、严彬 (大连理工大学)、张鹏宇 (大连理工大学)、赵洁 (大连理工大学)、刁海文 (大连理工大学)

B站观看网址：

https://www.bilibili.com/video/BV1yY411a7gR/

视频内容：

本期视频首先对单目标跟踪任务以及该任务的特点和挑战难点等进行了介绍。其次，介绍了该任务的数据集发展史和常用的评估指标。2013年，OTB50数据集被提出；作者在2015年将该数据集扩展至OTB100，共包含100个序列。2018年后，涌现了很多大规模跟踪数据集，例如，LaSOT、TrackingNet、GOT-10k等。此外，从2013年至今，每年都会举办VOT国际比赛，并提出更为挑战性的数据集。该比赛促进了跟踪任务的快速发展。

之后，本期视频着重介绍了该任务中近年来被提出的代表方法。首先，按照时间历程，在2015年之前，跟踪任务处于探索状态，派系众多，百家争鸣，期间出现了基于均值偏移，粒子滤波，子空间学习，分块表示和稀疏表示等框架的算法。从2015年后，随着深度学习的兴起，基于相关滤波的方法和基于深度学习的算法势均力敌不分伯仲。随着大规模数据集的出现，大量训练数据使得深度学习算法的优势得以发挥出来，2019年后基于Siamese网络的跟踪方法成为跟踪主流框架。近两年Transformer在视觉任务上表现出众，一系列基于Transformer的跟踪算法以高精度实时的优势，屠榜跟踪任务。其次，按照模型框架分类，目前主流的单目标跟踪方法可以分为四类，分别是基于相关滤波的方法、基于Siamese网络的生成式方法、在线更新的辨别式方法以及基于Transformer的方法。视频分别对这四类框架进行了介绍，并简单介绍了各类别下的若干代表方法。最后，若按照任务类别分类，除了主流的单目标跟踪，视觉跟踪任务也存在其他分支，例如侧重解决目标频繁消失再重现挑战的长时跟踪任务，以及结合其他模态信息的多模态跟踪任务，包括RGB-Thermal、RGB-Depth、Vision-language。这些子任务的发展将陆续在以后的视频中进行总结介绍。

此外，该视频对单目标跟踪任务的发展趋势进行了总结，比如融合检测、引入mask、数据集的巨型化、子领域的多样化以及更多的基于Transforer的方法。最后，该视频针对新手列出了若干学习资源链接，包括多个跟踪任务中常用的代码库，以及仍在更新维护的主流跟踪方法以及长时跟踪方法的github链接。页面中对现有的与跟踪任务相关的顶会论文和SOTA方法进行了整理和总结。同时本视频中以pytracking代码库为例，向初入门新手展示了如何开始阅读并配置一个代码库。

Paper list：

1. 基于相关滤波的方法：

[1] Henriques et al. High-Speed Tracking with Kernelized Correlation Filters. TPAMI 2015.

[2] Li et al. A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration. In ECCV 2014 workshop.

[3] Danelljan et al. Accurate Scale Estimation for Robust Visual Tracking. In BMVC 2014.

[4] Danelljan et al. Discriminative Scale Space Tracking. TPAMI 2017.

[5] Galoogahi et al. Correlation Filters with Limited Boundaries. In CVPR 2015.

[6] Galoogahi et al. Learning Background-Aware Correlation Filters for Visual Tracking. In CVPR 2017.

[7] Danelljan et al. Learning Spatially Regularized Correlation Filters for Visual Tracking. In ICCV 2015.

[8] Danelljan et al. Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking. In ECCV 2016.

2. 基于Siamese网络的生成式方法

[1] Bertinetto et al. Fully-convolutional siamese networks for object tracking. In ECCV 2016.

[2] Li B et al. High performance visual tracking with siamese region proposal network. In CVPR 2018.

[3] Li B et al. SiamRPN++: Evolution of siamese visual tracking with very deep networks. In CVPR 2019.

[4] Wang Q et al. Fast online object tracking and segmentation: A unifying approach. In CVPR 2019.

[5] Xu Y et al. SiamFC++: Towards robust and accurate visual tracking with target estimation guidelines. In AAAI 2020.

[6] Zhang Z et al. Ocean: Object-aware anchor-free tracking. In ECCV 2020.

3. 在线更新的辨别式方法

[1] Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking. In CVPR 2016.

[2] Danelljan et al. Atom: Accurate tracking by overlap maximization. In CVPR 2019.

[3] Bhat G et al. Learning discriminative model prediction for tracking. In ICCV 2019.

[4] Danelljan M, Gool L V, Timofte R. Probabilistic regression for visual tracking. In CVPR 2020.

[5] Bhat G et al. Know your surroundings: Exploiting scene information for object tracking. In ECCV 2020.

[6] Dai K et al. High-performance long-term tracking with meta-updater. In CVPR 2020.

4. 基于Transformer的方法

[1] Xin Chen, Bin Yan et al. Transformer Tracking. In CVPR 2021.

[2] Ning Wang et al. Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual. In CVPR 2021.

[3] Bin Yan et al. Learning Spatio-Temporal Transformer for Visual Tracking. In ICCV 2021.

[4] Yutao Cui et al. Target Transformed Regression for Accurate Tracking.

[5] Fei Xie et al. Learning Tracking Representations via Dual-Branch Fully Transformer Networks. In ICCV 2021 workshop.

[6] Liting Lin et al. SwinTrack: A Simple and Strong Baseline for Transformer Tracking. arxiv 2021.

特别鸣谢本次Student Club主要组织者：

责任AC：刘偲 (北京航空航天大学)