20181128-35 卢策吾：Behavior Understanding meets 3D

报告嘉宾：卢策吾（上海交通大学）

报告时间：2018年11月28日（星期三）晚上20:00（北京时间）

报告题目：Behavior Understanding meets 3D

主持人：郭裕兰（国防科技大学）

报告人简介：

卢策吾，上海交通大学研究员，博士生导师，获得国家青年千人，《麻省理工科技评论》中国创新35人 （MIT TR35）。上海交大“吴文俊人工智能博士班”班主任。

个人主页：

http://mvig.sjtu.edu.cn/

报告摘要：

本次报告主要讨论我们近期在行为理解与三维视觉的几项工作(均开源)：

行为理解：（1）Deep RNN：我们提出一套面向高维输入（比如视频）的 Deep RNN 方案，该方案可以做到15层甚至更深的RNN叠加，比起传统LSTM/RNN在四个视觉代表任务上平均相对提高25%。（2）Alphapose and beyond COCO，汇报我们alphapose的进展与规划，我们讨论了COCO数据中的不足，引出一个新的问题pose estimation in crowd，并提出一套新算法，在hard数据上比mask-RCNN提高 8.9 mAP。（3）Interactiveness: 针对提出HOI任务一种通用可迁移的Interactioness prior ，在HICO-DET的多个任务取得16%-36%的提高。

三维视觉：（1）PointSIFT：一个高效且通用的能3D点云表征模块，相关数据上数据集上分别取得12%的IoU相对提高。（2）Pointwise Rotation-Invariant Network：在点云级别，很大程度地解决了pointNet（包括PointNet++，PointCNN）的旋转不变性表征问题。在ShapeNet17 part segmentation旋转过的测试集上获得20 mIoU的提高（相对提高55%）。（3）DBNet：一个大规模的（加点云）端对端驾驶行为数据集。

参考文献：

[1] PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation, Mingyang Jiang, Yiran Wu, Tianqi Zhao, Zelin Zhao, Cewu Lu. arxiv, 2018.

[2] RMPE: Regional Multi-person Pose Estimation, Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai, Cewu Lu. International Conference on Computer Vision, (ICCV), 2017.

[3] LiDAR-Video Driving Dataset: Learning Driving Policies Effectively, Yiping Chen, Jingkang Wang, Jonathan Li, Cewu Lu, Zhipeng Luo, Han Xue, and Cheng Wang, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

[4] Deep RNN Framework for Visual Sequential Applications

Bo Pang, Kaiwen Zha, Hanwen Cao, Chen Shi, Cewu Lu. arxiv, 2018.

[5] CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark, Jiefeng Li, Can Wang, Hao Zhu, Yihuan Mao, Hao-Shu Fang, Cewu Lu. arxiv, 2018.

[6] PRIN: Pointwise Rotation-Invariant Network, Yang You; Yujing Lou; Qi Liu; Lizhuang Ma; Weming Wang; Yuwing Tai; Cewu Lu. arxiv, 2018.

[8] Transferable Interactiveness Prior for Human-Object Interaction Detection, Yong-Lu Li, Siyuan Zhou, Xijie Huang, Liang Xu, Ze Ma, Hao-Shu Fang, Yan-Feng Wang, Cewu Lu

. arxiv, 2018.

18-35期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“35期”，获取直播地址。

特别鸣谢本次Webinar主要组织者：

VOOC责任委员：郭裕兰（国防科技大学）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。

[slides]