VALSE 论文速览 第85期：基于样例查询的在线动作检测

论文题目：基于样例查询的在线动作检测

作者列表：杨乐 (西北工业大学)、韩军伟 (西北工业大学)、张鼎文 (西北工业大学)

B站观看网址：

https://www.bilibili.com/video/BV1aT411g7gZ/

论文摘要：

时序动作定位任务致力于从漫长的视频中发现有意义的动作片段，并标注起止时间和动作类别。在实际应用中，算法需要在线地处理视频流并及时准确地检测出正在发生的动作，这将传统的时序动作定位任务发展为新兴的在线动作检测任务。已有方法通常在一个视频片段内部精细地建模时序依赖，从而进行在线动作检测。这种学习范式会导致两个问题：(1) 即使两个动作实例属于同一类别，他们可能由于来自不同视频而无法进行信息交互。(2) 训练过程希望为每类动作学习特定的一种表征，但同类动作的不同阶段通常具有较大的差异性。为应对上述两点挑战，本文提出样例查询机制，在动态样例分支中，通过比较时序样例和当前帧的相似性，以一种简单高效的方式建模时序信息；在静态样例分支中，通过比较类别样例和当前帧的相似性，能进行跨视频信息交互并为每类动作学习多样性的表征。相比已有方法，所提方法效率更快，检测精度更高，能为后续在线动作检测研究提供简单有效的基准模型。

论文信息：

[1] Le Yang, Junwei Han, and Dingwen Zhang. "Colar: Effective and Efficient Online Action Detection by Consulting Exemplars". Proceedings of the IEEE/ CVF Conference on Computer Vision and Pattern Recognition. 2022.

论文链接：

[https://arxiv.org/abs/2203.01057]

代码链接：

[https://github.com/VividLe/Online-Action-Detection]

视频讲者简介：

杨乐，西北工业大学博士生，研究方向为计算机视觉和图像处理，目前专注于在线动作检测、时序动作定位和视频目标分割任务。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：王智慧 (大连理工大学)、杨旭 (西安电子科技大学)

季度责任AC：魏秀参 (南京理工大学)