20181219-37 胡建芳:视频时间关联建模及其在行为分析中的应用

报告嘉宾：胡建芳（中山大学）

报告时间：2018年12月19日（星期三）晚上20:00（北京时间）

报告题目：视频时间关联建模及其在行为分析中的应用

主持人：姬艳丽（电子科技大学）

报告人简介：

胡建芳博士针对不同环境下的人体行为分析问题进行了系统的研究，深入研究了深度学习、多任务学习、稀疏表达等机器学习算法并将它们用于解决静态图像、视频、RGB-D视频中的行为识别和行为前期预测问题。在IEEE TPAMI、IEEE TIP等国际顶级期刊和CVPR、ICCV、ECCV国际顶级会议上发表多篇学术论文。其博士论文“面向人与物体交互行为分析的关键问题研究”获2017年中国图象图形学学会优秀博士学位论文。他入选2017年微软亚洲研究院的青年学者铸星计划和获得2018年CCF-腾讯犀牛鸟基金。

个人主页：

http://isee.sysu.edu.cn/~hujianfang/

报告摘要：

本次报告将介绍报告人及合作者在视频时间关联建模方面的研究工作，具体地，我们研究怎样利用包含不完整行为信息的部分视频提升行为预测和行为识别的效果。（1）行为预测：针对部分视频标签缺失问题，提出了弱回归模型学习一系列弱类标对包含部分行为信息的视频进行标注，我们的弱回归模型可以从部分视频和完整视频中学习一个鲁棒的行为预测器，基于弱回归的行为预测系统可以实时提前预测行为意图。（2）行为识别：我们提出了深度双线性模型，同步学习多模态视频在时间维度和模态维度的共同上下文信息。

参考文献：

[1] " Early Action Prediction by Soft Regression ", Jian-Fang Hu, Wei-Shi Zheng, Lianyang Ma, Gang Wang, Jianhuang Lai, and Jianguo Zhang , IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2018.

[2] " Jointly Learning Heterogeneous Features for RGB-D Activity Recognition ", Jian-Fang Hu, Wei-Shi Zheng, Jianhuang Lai, and Jianguo Zhang, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 39 (11), 2186-2200, 2017.

[3] " Deep Bilinear Learning for RGB-D Action Recognition ", Jian-Fang Hu, Wei-Shi Zheng, Jiahui Pan, Jianhuang Lai, and Jianguo Zhang, European Conference on Computer Vision (ECCV), 2018.

[4] " Real-time RGB-D Activity Prediction by Soft Regression ", Jian-Fang Hu, Wei-Shi Zheng, Lianyang Ma, Gang Wang, and Jianhuang Lai, European Conference on Computer Vision (ECCV), 280-296, 2016.

18-37期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“37期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

VOOC责任委员：姬艳丽（电子科技大学）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。