VALSE 论文速览 第58期：背景标注引导的动作定位

论文题目：Background-Click Supervision for Temporal Action Localization

作者列表：杨乐 (西北工业大学)，韩军伟 (西北工业大学)，赵涛 (西北工业大学)，林天威 (百度视觉技术部)，张鼎文 (西北工业大学)，陈建新 (北京中医药大学)

B站观看网址：

https://www.bilibili.com/video/BV1oL4y1T7eL/

论文摘要：

弱监督时序动作定位任务从只含有视频级分类标签的未修剪视频中学习，希望掌握动作模式并准确地找出动作实例。已有算法普遍受“动作背景混淆”问题的困扰，近期，一些工作提出动作单帧标注的框架来处理这种难题。与传统弱监督时序动作定位算法相比，基于动作单帧标注的算法只消耗相似的标注成本，却能够稳定地提升动作定位性能。同时，我们在研究中发现已有时序动作定位算法可以准确地发掘到相当一部分动作帧，而性能瓶颈主要在于背景错误。因此，我们将动作单帧标注发展为背景单帧标注，并设计两个模块来协同地挖掘标注帧的位置信息和特征信息，以准确地学习动作模式。在挖掘位置信息时，我们不仅在标注帧进行有监督的分类学习，也提出一个新颖的得分分离模块来增加动作帧和背景帧响应的差异性。在挖掘特征信息时，我们提出亲和力模块来衡量每帧和它邻近帧的相似性，以帮助每帧来动态地计算时序卷积，并获取更准确的动作模式。我们在三个基准数据集上进行实验，验证了所提方法具有更优异的时序动作定位性能，同时证明了背景单帧标注的合理性和有效性。

论文信息：

[1] Le Yang, Junwei Han, Tao Zhao, Tianwei Lin, Dingwen Zhang, and Jianxin Chen. "Background-Click Supervision for Temporal Action Localization". IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021.

论文链接：

[https://ieeexplore.ieee.org/document/9633199]

代码链接：

[https://github.com/VividLe/BackTAL]

视频讲者简介：

杨乐，西北工业大学博士生，研究方向为计算机视觉和图像处理，目前专注于时序动作定位任务和视频目标分割任务。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：丁长兴 (华南理工大学)、彭春蕾 (西安电子科技大学)

季度责任AC：杨猛 (中山大学)