20200226-03 视频行为识别 Action Recognition

报告时间：2020年02月26日（星期三）晚上20:00（北京时间）

主题：视频行为识别 Action Recognition

报告主持人：王利民（南京大学）

报告嘉宾：乔宇（中科院深圳先进技术研究院）

报告题目：复杂视频序列的深度表征和理解

报告嘉宾：林巍峣（上海交通大学）

报告题目：Spatial-temporal action detection with Long-term Information Integration

Panel议题：

1. 视频行为变化千差万别，如何解决类不平衡性的问题？

2. 视频行为具有一定的主观性，同样行为不同人有不同的表现，如何解决用户异质性的问题？

3. 人类日常生活多为一系列简单行为组成的复合行为，同时包含周围环境的变化，这种问题如何应对？

4. 目前视频行为识别技术的现实应用场景怎样？离真正落地应用还有多远？

5. 不同于图像数据，视频数据量远远大于图片，因此对算力的要求也更高，对此学术界应该如何应对？

6. 关于视频行为识别研究，工业界和学术界各有什么侧重和优势？

7. 深度学习依赖大量标注数据，而大量可靠的标注数据不易获取，如何解决注释稀疏性的问题？

8. 视频行为识别技术的研究热点、难点？目前SOTA急需要解决的问题？

Panel嘉宾：

乔宇（中科院深圳先进技术研究院）、林巍峣（上海交通大学）、蒋路（Google Research）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：乔宇（中科院深圳先进技术研究院）

报告时间：2020年02月26日（星期三）晚上20:00（北京时间）

报告题目：复杂视频序列的深度表征和理解

报告人简介：

乔宇，中国科学院深圳先进技术研究院，研究员，数字所所长。入选科技部中青年科技创新领军人才、中科院百人计划，是广东省特支计划科技创新领军人才、深圳鹏程学者长期特聘教授。从事计算机视觉、深度学习和机器人等领域的研究，已在包括PAMI，T-IP，IJCV，CVPR， ICCV，ECCV，AAAI等重要国际会议和期刊上发表学术论文180余篇，论文累计被引用14,000余次，H-index为52。多次在ChaLearn, LSun, ActivityNet,EmotionW等国际评测中取得第一，获ImageNet 2016场景分类任务第二名。主持科技部重点研发计划课题，国家自然科学基金联合基金重点项目、中国科学院国际合作重点、粤港合作等项目。曾获中国科学院卢嘉锡青年人才奖。以第一完成人获得吴文俊人工智能奖二等奖、深圳市科技进步奖二等奖。担任IEEE ICIST 2014国际会议程序委员会主席。

个人主页：

http://mmlab.siat.ac.cn/yuqiao/index.html

报告摘要：

视频的分析和理解是计算机视觉的一个基本问题，在监控、人机交互、视频检索、网络媒体等领域有重要的应用。与图像相比，视频包含有丰富的运动信息，数据维度也更高，非受控条件下的复杂视频的分析和理解一直是一个极具挑战的问题。近年来，深度学习方法在复杂视频的识别中取得巨大进展，但仍面临众多挑战。在这个报告中，我们将介绍该领域的最新进展特别是深圳先进院多媒体课题组近年来开展的一些工作我们的方法曾在公开多类别数据库UCF101, HMDB51上取得了领先的识别率，在ActivityNet 16, ChaLearn等国际竞赛中取得第一。我们还将讨论当前方法所面临的挑战、发展趋势以及应用。

报告嘉宾：林巍峣（上海交通大学）

报告时间：2020年02月26日（星期三）晚上20:30（北京时间）

报告题目：Spatial-temporal action detection with Long-term Information Integration

报告人简介：

林巍峣，上海交通大学教授。分别于2003年和2005年获得上海交通大学学士和硕士学位，并于2010年获得美国华盛顿大学西雅图分校获得博士学位。曾在包括Motorola, Real Networks和Thomson Technology在内的多家公司的研究机构担任Research Intern。主要研究方向包括计算机视觉、视觉监控、视频行为理解、视频及语义信息编码等。林博士现任IEEE Trans. Image Processing, IEEE Trans. CSVT、IEEE Trans. ITS等期刊编委及ICPR’20、BMVC’19、MM'18、ICIP'19、ICME'18等领域主席，并任IEEE MMSP、IEEE MSA TC、IEEE MMTC等学术专业委员会委员。在相关领域共发表期刊论文100余篇，含IEEE Transactions系列及CVPR、ICCV、AAAI等权威期刊和会议论文40余篇，获专利18项。近年来，林博士相继获得2018教育部“青年长江”学者、ICME’19多媒体学术新星（Multimedia Rising Star）、2019上海市五四青年奖章等荣誉。

个人主页：

https://weiyaolin.github.io/

报告摘要：

The task of spatial-temporal action detection has attracted increasing attention among researchers. Existing dominant methods solve this problem by relying on short-term information and dense serial-wise detection on each individual frames or clips. Despite their effectiveness, these methods showed inadequate use of long-term information and are prone to inefficiency. In this talk, we will introduce two of our works on spatial-temporal action detection. We first incorporate action's long-term information during action modeling, and directly predicte spatial-temporal tubes of actions. Besides, a dynamic sampling approach is also developed to speed-up the detection process. Experimental results show that our works can obtian state-of-the-art results with inference speed that is 3.3x faster than the nearest competitor.

Panel嘉宾：蒋路（Google Research）

嘉宾简介：

蒋路，Google高级科学家。曾于2017年获得卡内基梅隆大学人工智能（语言技术）博士学位。曾于2008年2011年获得西安交通大学工学学士与硕士学位。长期致力于计算机视觉，机器学习和多媒体的交叉领域研究。他参与创建了包括Google YouTube-8M数据集和李飞飞团队的Google AutoML产品。近年来在包括 NIPS, ICML, ICLR, MM, CVPR, ECCV, AAAI, IJCAI, TPAMI 等发表论文30余篇。曾经获得国际会议ACL和ACM ICMR最佳论文论文提名和美国国家标准总局TRECVID比赛冠军。他是ACM Multimedia和IEEE AVSS的领域主席 (area chair)，以及美国国家自然科学基金（NSF）的评议专家。

个人主页：

http://www.lujiang.info

主持人：王利民（南京大学）

主持人简介：

王利民，南京大学教授，博导。2011年于南京大学获得学士学位，2015年于香港中文大学获得博士学位，2015年-2018年于苏黎世联邦理工学院从事博士后研究工作，2018年入选国家青年千人计划，同年加入南京大学。研究方向为计算机视觉和深度学习，长期关注视频行为理解，在国际重要期刊（T-PAMI,IJCV等)和顶级会议(CVPR,ICCV等)发表学术论文30余篇；根据Google Scholar统计，论文累计被引用5500余次，其中1作论文单篇最高引用1200余次；参加计算机视觉国际比赛，10余次获得世界第一名或第二名的成绩，其中包括：ActivityNet 2016比赛视频分类任务第一名，ImageNet 2015比赛场景分类任务第二名。

个人主页：

wanglimin.github.io

20-03期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“03期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC：王利民（南京大学）

协办AC：林巍峣（上海交通大学）、蒋路（Google Research）、明悦（北京邮电大学）

责任AC：韩军伟（西北工业大学）

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G、H、I、J、K群已满，除讲者等嘉宾外，只能申请加入VALSE L群，群号：641069169）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周四发布下一周Webinar报告的通知及直播链接。

8、Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新[slides]。

9、Webinar报告的视频（经讲者允许后），会更新在VALSE爱奇艺空间，请在爱奇艺关注Valse Webinar进行观看。

乔宇 [slides]

林巍峣 [slides]