设为首页收藏本站

VALSE

查看: 354|回复: 0

17-23期VALSE Webinar会后总结

[复制链接]

86

主题

86

帖子

808

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
808
发表于 2017-11-30 16:02:56 | 显示全部楼层 |阅读模式
天普大学樊恒博士、约翰.霍普金斯大学谢凌曦博士 、加州大学圣地亚哥分校的屠卓文教授2017年9月27日VALSE Webinar 成功举办.

樊恒,天普大学博士生,导师:凌海滨教授。

樊恒Webinar的题目为:Parallel Tracking and Verifying: A Framework for Real-Time and High-Accuracy Visual Tracking.

在报告中,樊恒针对在跟踪过程中,精度和速度之间的平衡问题,采用快速跟踪和验证器进行配合,分别处理简单序列和外观发生较大变化的复杂序列,自适应的激活验证器,当有困难跟踪发生时,利用验证器来改进跟踪器的性能,同时纠正跟踪器出现的错误。实验结果表明,采用本文提出的并行框架,可以很好实现实时的跟踪。

谢凌曦,约翰.霍普金斯大学博士后,2010年和2015年分别在清华大学获得本科和博士学位,发表多篇高质量论文,曾获得ICMR2015最佳论文。

谢凌曦Webinar的题目为:SORT: Second-Order Response Transform for Visual Recognition & Genetic CNN.

在报告中,谢凌曦博士针对现有神经网络在图像识别中的不变性、参数复杂度、和模型容量等方面的问题,首先提出了卷积的二阶变换的方法,在不增加时间复杂度的情况下,显著改进了网络的非线性属性,从而改善了图像识别的精度;进一步,针对神经网络的结构学习方面,谢博士提出基于遗传算法神经网络结构学习模型,采用二进制编码的方式对网络结构进行编码,并采用遗传学习的方式,优化网络结构,从而改进了神经网络在识别方面的性能。

屠卓文教授,加州大学圣地亚哥分校,屠教授于2003年获得Marr Prize,曾任职于微软亚洲研究院。

屠卓文Webinar的题目为:Introspective Learning for Generative Modeling and Discriminative Classification.

在报告中,屠卓文教授介绍了其发表在CVPR 2007,NIPS 2017和ICCV 2017上的系列算法:自醒学习。报告中,屠卓文教授回顾了其在启发式模型和判别式模型的统一化方面跨越10年的系列工作。其最新的自醒学习方法能够巧妙地在一个模型中实现Genernative(产生式)和discriminative(判别式)。通过采用back propagation取代早年的Gibbs Sampling,有效地解决了产生是模型的快速训练问题。新方法在计算机视觉的一些列基本问题中都有着重要的应用。

问答部分:

问题1:验证器的阈值会有什么影响?如何扩展到多跟踪器上?
回答:验证器的阈值对性能具有较大的影响,我们一方面手动设置合理的阈值,另一方面在阈值非最优的情况下,可以进行连续校验,并在跟踪过程中不更新;多目标的跟踪问题有所不同,需要考虑每个目标的affinity,但是可以利用验证器来判断跟踪对象是不是准确。

问题2:sort是否有利于深度网络的并行化?遗传算法对网络结构的贡献主要是什么?
回答:SORT对并行化似乎没什么帮助,它只是用于改进网络的识别效果;遗传算法对于结构的贡献,主要是高效地探索了一些我们没有探索过的结构,避免了逐一去枚举每个可能性。

问题3:针对您的第一个工作,不同的统计量对性能的影响大吗?2. 在采样方面有什么策略来提高采样效率?
回答:这个问题很好,当时我做了很多实验。后来发觉,它的统计量核心需要两类,homogeneous(histogram)和in-homogeneous。没有homogeneous (histogram)的话,假如都是harr、wavelets的话,texture是做不了的,反之也亦然。当时最大的一个从07年工作的改进是用Harr和Histogram两大类feature都合在一起起到了作用,否则单独用一类都不太行。最早我们采样用各种各样Gibbs sampling确实太慢了,现在back propagation的情况下,被归纳成了SGD-langevin dynamics,最近在统计上有一些证明,我觉得这个可能会大大提高sampling process。反过来说GAN的sampling process,当然它不叫sampling了,是从random high dimensional space上做projection的话,也是一种启发,但不是本质意义上的sampling。这部分还是需要做很多研究。

问题4:您对大家进一步开展这方面的future work有建议吗?
回答:我们这个code马上会放出来。在introspective learning 这底下,我们强调是single model,所以比GAN来说,我们的好处是直接可以做discriminative classification,然后它在generative model上来说也并不差,我们后面可能会做一系列后续的工作来进一步提高。所以从这个角度来说,我觉得有可能比GAN的空间要大。GAN的本身的synthesis确实比我们要快,比如我们有时是秒级,GAN有可能是毫秒级。所以GAN继续保留其优点的前提下,我觉得我们的introspective还是有他自己很明显的特点在那。尤其是single model,一个single CNN可以转换成generative,这样就比较有效了。大家目前在GAN上面,第一,training 有问题,第二,GAN的discriminative model是扔掉的。如果你可以把任何你的discriminative classify的CNN都转为generative model,我觉得还是对后面还是有大量的后续可做的工作。差不多是沿着这个introspective,通过自省的方式来不断提高。

问题5:请举出您算法的一些应用场景。
回答:可以说除了速度以外,基本上GAN能做的事情我们都能做。但GAN不能做的,我们很多地方也能做。比如直接的classification我们就能提高。我目前还没有看到GAN本身做discriminative classification。由于是single model,training两个都是backpropagation,有可能比GAN的training复杂度要降低一些。当然w-GAN出来以后帮助很大了,但是包括Goodfellow最近也在说,他也在不断探索GAN怎么训练的这个过程,所以我觉得有可能在这方面也有所提高。我个人对这个方向还是很激动的,我觉得整个空间还是非常大。

问题6:您现在的工作比07年工作,从框架上来说基本一样,但是性能提升很大,主要是引入了CNN,有没有分析这是什么本质原因,如果引入LSTM有没有考虑?
回答:归纳总结一下:首先实现了真正的端到端,07工作feature的定义我还是花了相当的时间,homogeneous啊还是非homogeneous,现在CNN我就不用考虑了。第二,Sampling的过程极大地提高,有了back propagation之后,sampling过程好太多了,可以说是成百倍的提高。第三,我们NIPS文章把supervise和un-supervise又几乎整合到了一个差不多相同的结构。这样对supervise和un-supervise有一个有效的结合。受到了CNN大潮下,把Hieratical的结构引入进来,learning过程更加smooth,利用整个CNN能够有效的back-propagation的形式。当然最近Hinton他们又在强调可能back propagation不一定是好事,但这又是另一个层面的事情了。然后回到LSTM的话,LSTM本质上仍然是back propagation,所以我觉得用这类temporal的data,也还是有很多后面扩展空间,目前我们还没开始做这部分。LSTM没有什么理由不能做,但需要一些探索。GAN的Discriminative是扔掉的,我们的是single model,即是discriminative 又是generative,想象空间不少。

录像视频在线观看地址: http://www.iqiyi.com/u/2289191062

活动参与方式:
1、VALSE Webinar活动全部网上依托VALSE QQ群的“群视频”功能在线进行,活动时讲者会上传PPT或共享屏幕,听众可以看到Slides,听到讲者的语音,并通过文字或语音与讲者交互;
2、为参加活动,需加入VALSE QQ群,目前A、B、C、D、E、F群已满,除讲者等嘉宾外,只能申请加入VALSE G群,群号:669280237。申请加入时需验证姓名、单位和身份,缺一不可。入群后,请实名,姓名身份单位。身份:学校及科研单位人员T;企业研发I;博士D;硕士M
3、为参加活动,请下载安装Windows QQ最新版,群视频不支持非Windows的系统,如Mac,Linux等,手机QQ可以听语音,但不能看视频slides;
4、在活动开始前10分钟左右,主持人会开启群视频,并发送邀请各群群友加入的链接,参加者直接点击进入即可;
5、活动过程中,请勿送花、棒棒糖等道具,也不要说无关话语,以免影响活动正常进行;
6、活动过程中,如出现听不到或看不到视频等问题,建议退出再重新进入,一般都能解决问题;
7、建议务必在速度较快的网络上参加活动,优先采用有线网络连接。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Vision And Learning SEminar    

GMT+8, 2018-4-24 12:42 , Processed in 0.060757 second(s), 25 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表