ICML 2015压轴讨论总结：6大神畅谈深度学习的未来

贾伟中科院合肥

ICML 2015压轴讨论总结：6大神畅谈深度学习的未来CSDN 2015-07-24 17:58                    


【编者按】2015年ICML的深度学习研讨会，压轴大戏是关于深度学习未来的讨论。基于平衡考虑，组织方分别邀请了来自工业界和学术界的六位专家开展这次圆桌讨论。组织者之一Kyunghyun Cho（Bengio的博士后）在飞机上凭记忆写下本文总结了讨论的内容，他谨慎地表示一些转述不够准确，欢迎大家评论补充。但这篇总结仍然不失借鉴意义。
六位专家包括：Yoshua Bengio（蒙特利尔大学），Neil Lawrence（谢菲尔德大学），Juergen Schmidhuber（IDSIA），Demis Hassabis（Google DeepMind），Yann LeCun（Facebook，NYU）和Kevin Murphy（Google）。Max Welling（阿姆斯特丹大学）主持了讨论。

深度学习的现状与未来Bengio首先指出，虽然在过去的一年已经取得巨大的进步，自然语言处理（NLP）尚未通过深度学习来革命。他认为，NLP有潜力成为深度学习的下一个重点。此外，他希望更多的努力投资到无监督学习，这与LeCun，Hassabis和Schmidhuber产生共鸣。
有趣的是，六位圆桌嘉宾中的四位，LeCun，Hassabis，Lawrence和Murphy，都认为医药医疗健康是深度机器学习的下一个大的事件。他们表示有兴趣的有些领域是医学图像分析（LeCun）和药物研发（Hassabis）。对此，我认为Lawrence已经推入了这个方向（他当天的演讲谈到DeepHealth），并且将他的方法与Google DeepMind和Facebook的方法相比较会很有意思。
LeCun和Hassabis都选择了问答和自然语言对话系统作为下一个重点。尤其是，我喜欢LeCun如何在知识、其收购和神经网络（或作为实际，任何机器学习模型）规划的基础上和在结合推理的背景下推出这些。这被Hassabis和Schmidhuber所呼应。
Schmidhuber和Hassabis认为顺序决策应该是下一个重要的研究课题。Schmidhuber的卷尾猴例子是令人振奋并且有趣的（这不仅是因为他错误地把它宣布成一个卡布奇诺猴）。为了在一棵树的顶端挑选水果，卷尾猴毫不费力地规划了一个子目标序列（例如，步行到树下，爬上树，抢水果，…）。Schmidhuber认为，我们将在10年内使机器拥有动物的智力水平（如Capuchin智能手机？）。
与其他嘉宾略有不同，Lawrence和Murphy更感兴趣的是将深度学习的最新成果转化到人类不能很好解决的任务/数据集（现在，让我把这些类型的任务称为“非认知”任务）。Lawrence指出，到目前为止，深度学习的成果已经很大程度上被限制于人类毫不费力的任务上，但未来可能是非认知（non-cognitive）任务。当谈到这些非认知任务，Murphy认为训练模型的解释性将变得更有价值。
Murphy和Schmidhuber解释到，分层规划、知识获取和执行非认知任务的能力自然引起了自动化实验室的想法。在这种自动化实验室，一台机器将积极规划其目标来拓展其世界的知识（通过观察和实验），并且可以深入了解世界（解释性）。

产业 vs. 学术LeCun有一个令人惊讶的观点，认为工业实验室和学术实验室在基础设施之间的差距会随着时间的推移缩小，而不是扩大。这很好，但我比他更悲观。
LeCun继续解释在Facebook AI Research（FAIR）的开放性的研究工作。他表示，产业（不是特指FAIR）应该促进开放性科学有三个原因：（1）这是研究水平整体提升的方式，（2）这使得公司对未来的雇员、研究员更具吸引力，（3）不同公司在研究方面有竞争，这是保持领先他人的方式。
令我惊讶的是，Hassabis表示，Google DeepMind和FAIR已经同意共享基于Torch的软件框架的研究。我依稀记得听到这个正在讨论是在这几个星期或几个月前，但显然它已经发生了。我相信，这将进一步加快FAIR和DeepMind的研究。然而，它对其他研究机构（如大学）对于拥有世界上最集中的深度学习的两地共享和使用相同的代码库是否有益还有待观察。
Hassabis，Lawrence，Murphy和Bengio都认为工业实验室提供的巨大资源对于学术实验室不一定是个问题。Lawrence指出，相比其他那些数据驱动的公司（想想Google和Facebook），世界上的大多数公司忍受着大量数据的痛苦，而不是在享受它，这将为学术实验室的研究人员打开一个大的机会。Murphy近期比较了美俄太空竞赛时期两国的学术研究。资源的缺乏证明可能是有用的，甚至对于算法突破是有必要的，Bengio和Hassabis发现它依然重要。此外，Hassabis建议寻找那些人们可以很容易制造人为数据的任务或问题，比如游戏。
Schmidhuber的回答是这里最独特的一个。他认为，真正运行AI代理的代码是非常简短的，甚至高中生都能玩转它。换句话说，不用有任何担心会有行业垄断AI及其研究。

炒作和可能的第二个NN冬天曾多次被记者问到过度炒作的问题，LeCun提到，过度炒作是危险的，有四个因素：（1）需要资金的自欺欺人的学者，（2）需要资金的创业者，（3）资助机构管理资金的项目经理以及（4）失败的新闻界（可能也需要资金、工资）。最近，在深度学习领域，第四因素起到了重要的作用，而奇怪的是，并非所有的新闻报道都是Google和Facebook公关机器的结果。相反，如果记者们在写潜在的废话之前呼唤研究员的话，LeCun会更喜欢。
LeCun和Bengio认为，一个既避免过度炒作、又加快研究进度的潜在的解决方案是开放的审查制度，其中，（真正的）科学家、研究人员把自己的成果放在网上并且公开发表评论，以便让人们看到文章的两面（以及为什么单文本不会造成奇异性）。进一步推动它，Murphy指出了开源软件研究的重要性，使用它，其他人可以更容易地理解论文中新提出方法的软弱性和局限性。不过，他指出，当写文章时，作者自己清楚地说明自己方法的局限性是非常重要的。当然，这需要Leon Bottou在他的全体会议演讲上提到的（评审应鼓励局限性的讨论，而不是因为局限性而抹杀这些文章）。
同样，Lawrence建议，研究人员和科学家应缓慢但稳步地多接近公众。如果我们不能相信记者的话，我们可能需要自己动手。他指出的一个很好的例子是由Ryan Adams和Katherine Gorman展示的“Talking Machines”。
Hassabis赞同过度炒作是危险的，但也认为不会再有第三个AI/NN冬天了。因为我们现在知道了什么导致以前的AI/NN冬天，并且我们已经在不过度承诺方面做得更好。如果我可以在这里补充我自己的观点，我同意Hassabis，尤其是因为神经网络现在被广泛部署于商业应用（想想Google Voice），这将更加难以再有另一个NN冬季（我的意思是，它起作用！）。
Schmidhuber也同意所有其他嘉宾，认为不会再有任何更多的AI/NN冬天，但是因为另一个原因：硬件技术的进步。他听起来好像他相信所有必要的算法组件已经开发并且一定程度上在目前形式的数码电脑上得到了验证。他认为这是一时机：从在发展通用AI方面取得更大进步，转移到不适合神经网络、更具体的回归神经网络的硬件技术上。
Murphy的一个评论是我最喜欢的：“这简直是人类的天性。”

人工智能恐惧和奇点显然DeepMind的Hassabis近期已经从知名人士如Elon Musk，Stephen Hawking和Bill Gates中脱颖而出，成为的人工智能恐惧（AI fear）的核心。Hassabis向Musk介绍了AI，这可能让他感到震惊。然而，在最近几个月，Hassabis已经说服了Musk，并且和Hawking就这一点也有三个小时的长聊。据他介绍，Hawking现在不太担心。不过，他强调，我们必须为未来做好准备，不要害怕。
Murphy认为这样的人工智能恐惧和奇点的讨论是一个巨大的牵引。目前，世界上许多其他重大的问题需要立即得到更多的关注，如气候变化和传播的不平等现象。这种人工智能恐惧是一个简单的超跌的炒作，需要停下来，直到Bengio和LeCun同意。同样，Lawrence没有找到人工智能恐惧真正担心的问题。相反，他更关注的是数字寡头和数据的不平等问题。
LeCun的一个有趣的评论是，我们必须要小心区分智能和素质（quality）。大多数有问题的人类行为，由于许多担心类似人类的人工智能，是由人类素质而不是智能造成的。任何智能机不需要继承人的素质。
Schmidhuber对此事有非常独特的观点。他认为，我们将看到人工智能代理商社区由聪明的人和糊涂的人组成。他们会对彼此更感兴趣（正如十岁的女孩对其他十岁的女孩更感兴趣并且一起闲逛，以及卷尾猴对其他卷尾猴有兴趣并一起出行），并且对人类不怎么感兴趣。此外，他认为人工智能代理商会比人类（或者说他自己）显著聪明，没有这些人类的素质，他不像是自己，这与LeCun的言论一致。

听众提问不幸的是，Q&A时间我拿着麦克风到处跑，无法针对好问题和专家回复进行记录和注释。
我记得一个来自Tieleman的问题。他询问了嘉宾有关他们在主动学习、探索方面的观点，作为有效监督学习的一个选择。Schmidhuber和Murphy进行了回答，在我透露他们的答复之前，我真的很喜欢它。总而言之（或我尽可能肯定我的记忆），积极探索会自然而然的发生，作为奖励更好解释世界的结果。周围世界的知识和它的积累应该得到回报，并最大限度该奖励，代理人或算法将积极探索周边地区（甚至没有监督）。Murphy表示，这可能反映婴儿如何在没有太多的监督信号，甚至没有太多的无监督信号的情况下（他们积极探索的方式通过允许婴儿收集高质量的无监督例子来弥补无监督例子的缺乏）这么快就学会。
我很荣幸可以直接向Hassabis，LeCun和Murphy询问最后的问题：如果他们（有意或无意）建立了一个真正工作的AI代理（不管什么意思），公司会怎么做？他们会掩盖它，认为世界还没有为此做好准备吗？他们会因为商业的潜在机会而保密吗？
他们都表示，不会发生这样的情况（一次事故导致有思维的机器）。而且，正因为如此，LeCun没有找到它相关的，因为这将逐渐发生，这是许多工业界和学术界的科学家都加入进来共同努力的结果。Hassabis认同LeCun的做法，也无法想象，这样的发现既然已经发生了，就可以被容纳（可能是人类历史上最好的漏洞）。不过，他主张为未来做好准备：我们，人类，将有机会使用真正有思维的机器，它们拥有我们分享的情绪。Murphy同意LeCun和Hassabis。他连同LeCun做了关于最近发布电影的评论，Ex-Machina（顺便说一下，这是今年到目前为止我的最爱）：这是一个美丽的拍摄电影，但不会在现实中发生。
我同意他们所提出的观点。不过，在我的问题背后还有另外一个原因，很不幸的是没有被他们讨论（无疑是由于时间的限制）。也就是说，一旦我们有正在“思考”的算法或机器，而且说出几个商业公司开发的最重要的几个部分（像Hassabis，LeCun和Murphy那样的），我们就在这些关键部件上有权利，这些至关重要的组件属于这些公司还是个人？他们将不得不做出公开（像人工智能的普遍权利）吗？以及最重要的是谁将决定所有这些？

结论？很显然，目前还没有定论。这是一个持续的努力，而我或者我们的组织者，希望这个圆桌讨论会可以成功落地，至少给深度学习及一般人工智能的未来路径带来些许光明（然而，Lawrence通过引用Zoubin Ghahramani的话“如果鸟的飞行称为飞行，那么飞机的飞行称为人造飞行？”来指出这个词的荒谬）。
但是，让我指出我已经找到的个人觉得非常有趣的、令人振奋的几件事情：
（1）无监督学习作为强化学习和自动化实验室：不用只是考虑每一个单独的、未标记的例子，我们应该让一个模型选择性的考虑未标记示例的一个子集，以最大化限定于积累知识量的奖励。
（2）过度炒作可以在很大程度上避免研究人员在发布最新成果和理念方面的积极参与，而不是让非专业人士向非专业人士解释。播客、开放的审查和博客有一定帮助，但也有可能是没有一个正确的答案。
（3）我不认为工业界与学术界之间有任何的协议。不过，我觉得所有的三位学术专家以及其他产业专家都赞同，他们每个人都有自己的角色（有时是重叠的），朝着一个宏伟目标。
（4）深度学习已经在人类擅长的领域（例如视觉和语音）获得了成功，并且未来我们作为研究者还应该探索人类并不擅长（或者在一年又一年的专门培训后变得擅长）的任务、数据集。在这个意义上，医药、保健似乎是大部分专家感兴趣并且愿意投资的一个领域。