VALSE 论文速览 第48期：面向第一视角动作识别的交互式原型学习 ...

论文题目：Interactive Prototype Learning for Egocentric Action Recognition

作者列表：汪晓晗 (浙江大学)，朱霖潮 (悉尼科技大学)，王恒 (Facebook AI)，杨易 (浙江大学)

B站观看网址：

https://www.bilibili.com/video/BV1J34y117tX/

论文摘要：

第一视角视频识别是非常具有挑战的任务，其需要识别人物的动作及与人物交互的物体。由于复杂的视频背景、频繁的摄像机视角变化、严重的遮挡等问题，识别交互物体特别困难。为了改进交互物体的分类，大多数现有方法使用物体检测器或人类注视点信息，但这些方法的计算成本很高或需要大量手工注释。为了避免这些额外的成本，我们提出了一个端到端的交互式原型学习 (IPL) 框架，IPL利用来自人物的动作线索来学习更好的交互对象表征。首先，我们引入了一组动词原型将交互物体特征与其他物体特征分解。每个原型对应于第一视角动作的主要运动模式，为交互物体特征学习提供了独特的监督信号。其次，我们设计了两个交互操作来提取交互物体特征，即名词到动词的分配操作和动词到名词的选择操作。这些操作是高效的并且可以在3D卷积网络之上学习丰富的位置特征。我们展示了 IPL 框架可以泛化到不同的主干网络上，在三个大规模第一视角视频数据集 (即 EPIC-KITCHENS-55、EPIC-KITCHENS-100 和 EGTEA)上，IPL的性能优于最新方法。

论文信息：

[1] Wang, Xiaohan, Linchao Zhu, Heng Wang, and Yi Yang. "Interactive Prototype Learning for Egocentric Action Recognition." In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 8168-8177. 2021.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Wang_Interactive_Prototype_Learning_for_Egocentric_Action_Recognition_ICCV_2021_paper.pdf]

视频讲者简介：

汪晓晗，浙江大学博士后。他分别于中国科学技术大学和悉尼科技大学获得本科和博士学位，并于2019-2021年在百度研究院进行访问研究。他的研究兴趣为多模态视频理解，第一视角视频分析，在TPAMI、CVPR、ICCV、AAAI等人工智能顶级会议和期刊发表多篇论文。曾获得CVPR2019，CVPR2020连续两届第一视角动作识别挑战赛冠军和CVPR2021 AICity文本车辆检索竞赛冠军。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：叶茫 (武汉大学)、刘昊 (宁夏大学)

季度责任AC：杨猛 (中山大学)