VALSE Student Webinar 20210328-02 总第233期 视频分析与理解的机遇与挑战 ... ...

报告嘉宾：Yansong Tang (University of Oxford)

报告题目：Understanding Human Actions in Instructional Videos

报告嘉宾：王金鹏 (中山大学)

报告题目：探索视频理解中的隐性偏见

报告嘉宾：吴嘉濂 (纽约州立大学布法罗分校)

报告题目：视频物体跟踪与检测的结合应用

Panel嘉宾：

Yansong Tang (University of Oxford)、王金鹏 (中山大学)、吴嘉濂 (纽约州立大学布法罗分校)、于探 (百度西雅图研究院)、柯秋红 (墨尔本大学)、刘俊 (新加坡科技设计大学)、朱霖潮 (悉尼科技大学)、汪晓晗 (浙江大学)

Panel议题：

1. 跨模态视频理解的前景？

2. 社交平台海量视频价值及值得探索的问题？

3. 视频理解应用的困难及泛化性问题？

4. RGB 和 骨架行为识别的适用场景？

5. 视频理解在互联网行业中的应用需求？

6. 终身学习对视频理解的意义？

7. BERT/Transformer在视频分析领域应用前景？

*欢迎大家在下方留言提出主题相关问题，主持人和Panel嘉宾会从中选择若干热度高的问题加入Panel议题！

报告嘉宾：Yansong Tang (University of Oxford)

报告时间：2021年03月28日(星期日)19:30-19:50(北京时间)

报告题目：Understanding Human Actions in Instructional Videos

报告人简介：

Yansong Tang is currently a research fellow at the Department of Engineering Science at the University of Oxford. His research interests lie in computer vision. He is working towards learning data-efficient and interpretable representations for video understanding. Before coming to Oxford, he received Ph.D degree and B.S. degree from Tsinghua University. He has also spent time at Visual Computing Group of Microsoft Research Asia (MSRA), and VCLA lab of University of California, Los Angeles (UCLA). He has authored 9 scientific papers in this area, where 6 papers are published in top journals and conferences including IEEE TPAMI and CVPR. He serves as a regular reviewer member for a number of journals and conferences, e.g., TPAMI, TIP, TCSVT, CVPR, ICCV, AAAI and so on. His Ph.D dissertation was awarded Excellent Doctoral Dissertation of Tsinghua University in 2020. 

个人主页：

https://andytang15.github.io/

报告摘要：

Thanks to the substantial and explosively increased instructional videos on the Internet, novices are able to acquire knowledge for completing various tasks. Over the past decade, growing efforts have been devoted to investigating the problem on instructional video analysis. However, the most existing datasets in this area have limitations in diversity and scale, which makes them far from many real-world applications where more diverse activities occur. In this talk, I will introduce our "COIN" dataset for COmprehensive INstructional video analysis, as well as two proposed methods for localizing important steps in instructional videos by exploiting the task-consistency and ordering-dependency characteristics.

报告嘉宾：王金鹏 (中山大学)

报告时间：2021年03月28日(星期日)19:50-20:10(北京时间)

报告题目：探索视频理解中的隐性偏见

报告人简介：

王金鹏，中山大学电子与信息工程学院研究生，导师马锦华教授。研究方向为视频理解以及自监督学习，包括动作分类，时序动作检测。当前主要聚焦于基于RGB视频的动作语义分析。发表多篇会议，期刊论文，包括CVPR，AAAI，IEEE TCSVT等。

个人主页：

https://fingerrec.github.io

报告摘要：

自监督学习通过从数据本身来获取监督信号，在视频表征学习领域展现出了巨大潜力。由于一些主流的方法容易受到背景信息的欺骗和影响，为了减轻模型对背景信息的依赖，我们提出通过添加背景来去除背景影响。具体而言，给定一个视频，我们从中随机选择一个静态帧，并将其添加到其它的每一帧中，以构建一个分散注意力的视频样本，然后要求模型拉近分散注意力的视频样本与原始视频样本之间的特征距离，如此使得模型能够更好地抵抗背景的影响，而更多地关注运动变化。我们的方法命名为背景消除（Background Erasing，BE）。值得注意的是，我们的方法可以便捷地添加到大多数SOTA方法中。

报告嘉宾：吴嘉濂 (纽约州立大学布法罗分校)

报告时间：2021年03月28日(星期日)20:10-20:30(北京时间)

报告题目：视频物体跟踪与检测的结合应用

报告人简介：

吴嘉濂，纽约州立大学布法罗分校博士生，导师袁浚菘教授。研究方向为以人和物体为中心的视频理解分析，包括视频中人/物体的检测，跟踪，分割。研究成果发表于CVPR，ACM MM，AAAI。曾获纽约州立大学布法罗分校最佳博士新生奖。

个人主页：

https://jialianwu.com/

报告摘要：

多目标视频物体跟踪技术在现实世界中有诸多应用，如：自动驾驶，VR/AR等。目前大部分的物体跟踪器，往往采用先检测后跟踪（tracking-by-detection）或联合检测和跟踪(joint detection and tracking)的手段。然而，上述方法的跟踪结果往往受限于检测结果，缺乏探索利用跟踪信息帮助检测这一问题。在这次分享会中，我将首先简要回顾主流的多目标物体跟踪方法，然后介绍我们近期一些关于利用跟踪信息增强检测的工作。

点评嘉宾：于探 (百度西雅图研究院)

嘉宾简介：

于探，百度西雅图研究院研究员。2019年于新加坡南洋理工大学获得博士学位。于探博士的研究领域包括细粒度分类及跨模态搜索。目前在百度公司负责大规模跨模态搜索算法的优化。于探博士近几年在国际顶级期刊与会议上发表论文多篇，并且研究成果已经多次部署在百度的核心广告搜索业务中。

个人主页：

https://sites.google.com/site/tanyuspersonalwebsite/

点评嘉宾：柯秋红 (墨尔本大学)

嘉宾简介：

柯秋红， 墨尔本大学计算与信息学院讲师，西澳大学博士，曾在德国马普所进行博士后研究。目前专注于深度学习方法的研究及其在人类行为分析中的应用。已在国际会议与期刊发表多篇论文， 目前担任IEEE T-PAMI、IEEE T-IP、IEEE T-MM、PR 等国际权威期刊审稿人，并受邀担任CVPR, ICCV, ECCV, IJCAI、AAAI等多个国际会议的PC member。获澳大利亚模式识别协会青年研究奖，澳大利亚计算机协会研究奖，西澳大学优秀博士论文等多项奖项。

个人主页：

https://findanexpert.unimelb.edu.au/profile/861653-qiuhong-ke

点评嘉宾：刘俊 (新加坡科技设计大学)

嘉宾简介：

刘俊，新加坡科技设计大学助理教授。2019年于新加坡南洋理工大学电气与电子工程学院获得博士学位，并获得最佳博士毕业论文奖。主要研究方向为计算机视觉，视频理解，行为识别。在TPAMI，CVPR，ICCV，ECCV等顶级会议与期刊上发表论文多篇，总引用3500余次。

个人主页：

https://istd.sutd.edu.sg/people/faculty/liu-jun

点评嘉宾：朱霖潮 (悉尼科技大学)

嘉宾简介：

朱霖潮，悉尼科技大学讲师。分别于浙江大学和悉尼科技大学获得本科与博士学位，2015年和2016年于卡内基梅隆大学访学。曾获得美国国家标准总局TRECVID比赛冠军，EPIC-Kitchens，THUMOS动作识别比赛冠军。2021年获Google Research Scholar奖（在机器感知领域仅有七个获奖者）。长期关注视频行为理解，无监督视频特征学习。

点评嘉宾：汪晓晗 (浙江大学)

嘉宾简介：

汪晓晗，浙江大学博士后。分别于中国科学技术大学和悉尼科技大学获得本科和博士学位。2019-2021年在百度研究院访问研究。研究兴趣为多模态视频理解，第一视角动作识别。曾获得CVPR2019，CVPR2020连续两届第一视角动作识别挑战赛冠军。

主持人/组织人：杨易 (浙江大学)

主持人/组织人简介：

杨易，2012年获得教育部全国优秀博士论文奖。2015年获得浙江省自然科学一等奖，2016年获得Google Faculty Research Award, 2020年获得AWS 机器学习奖，2018，2019年被评为全球高被引学者。杨易教授主要从事人工智能、多媒体和计算机视觉研究，取得了多项具有国际影响力的重要创新性成果，获得国际学术界和工业界的广泛关注。

VALSE Student Webinar 21-02期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号 (valse_wechat)，后台回复“02期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

主办AC/VSC：杨易 (浙江大学)

责任AC：刘偲 (北京航空航天大学)