百度吴恩达：深度学习的前沿正转向高性能计算

贾伟中科院合肥

百度吴恩达：深度学习的前沿正转向高性能计算
2015-05-15 infoq [url=]数盟[/url] 数盟

作者：张天雷

出处：infoq

近日，百度首席科学家吴恩达(Andrew Ng)博士和百度硅谷人工智能实验室主任亚当.科茨（Adam Coates）博士，在知名美国社交新闻站点Reddit热门板块AMA(Ask me anything)与网友进行了一次热情的问答互动。网友们纷纷针对自己关心的问题与两位人工智能领域的大师展开交流，吴博士也对网友关心的很多问题阐述了自己的观点。本文由张天雷、黄立威整理。

深度学习的前沿正转向高性能计算

在对话中，吴博士谈到，计算能力的提升和可获得的数据的增加是深度学习的两个关键驱动因素。机器学习的很多进步都是受到计算能力和数据的驱动，吴博士认为深度学习的前沿正转移到高性能计算（HPC），这也是目前他们在百度的工作重心之一。吴博士认为在企业环境下建立新的HPC技术以及访问大量的数据更加容易，驱使他选择与企业开展合作。同时，吴博士认为计算能力的提升并不是我们被动地等待而自然发生的。在两位专家从事深度学习的生涯中，有很多的成功得益于主动地追求可用的计算能力。例如，在2008年，吴博士启动了他所认为的第一个CUDA / GPU深度学习任务，并引领这个领域开始使用GPU。

2011年，吴博士创立并领导了谷歌深度学习小组（当时称为谷歌大脑），使用谷歌云扩展深度学习；这使得深度学习得以推向工业界。在2013年，科茨博士等人建立了第一个HPC式的深度学习系统，可扩展性提升了1-2个数量级。目前在百度，吴博士的团队正在正利用HPC技术，开发新一代的深度学习系统，HPC为深度学习提供了一大助力。吴博士认为高性能计算和大数据的深度结合将为他们带来下一个深度学习的巨大进步，目前他们已经在语音识别方面取得的突破（http://bit.ly/deepspeech）。

另外，吴博士还谈到，50年前，实际上是计算机科学理论推动着计算机科学实践的前进。例如，理论工作搞清楚了排序的复杂度是O(n log n)，早期，Don Knuth关于计算机理论方面的一些著作，真正推动了计算机科学的进步。今天，一些领域中仍然是理论推动实践，如计算机安全：假如我们发现一个加密的漏洞，并发表一篇关于它的理论文章，这可能会导致全世界都根据你的理论更改自己的代码。但在机器学习领域，进步越来越受到一些实际的工作所驱动，而不是理论。

机器学习技术VS专业领域知识

在谈到面对一个专业领域内的具体问题什么技术更加重要，是机器学习的应用能力，还是对具体问题的领域知识？吴博士认为，解决不同问题需要的技术是不同的。但广泛地说，对于解决一个问题所需要的知识源于两个方面：

• 你身边的工程师所拥有的；
  
• 从数据自身所能够学习到的。
  
• 
  
  

在某些领域（如计算机视觉，语音识别和自然语言处理），快速增加的数据意味着（2）是现在的主导力量，因此，领域知识和身边工程师的能力正变得越来越不那么重要。 5年前，涉足计算机视觉和语音识别研究真的非常困难，因为需要你必须掌握很多的领域知识。但由于深度学习的兴起和数据的增加，学习门槛现在变得更容易、更低，因为解决问题的途径已经变为了机器学习+数据，工程师知道什么已经变得不那么关键了。吴博士认为现在的获胜方法越来越多的是使用差不多的领域知识，编写了一个学习算法，然后给它一大堆的数据，让算法从数据中得出答案。

为什么选择百度

当谈到为什么选择加入百度的时候。吴博士认为百度是一家非常出色的公司，百度研究院在很大程度上是一个全新的环境。百度投入了大量的精力进行员工发展，所以这里的人都在努力工作，并迅速地学习深度学习，HPC等技术，他觉得这些东西为推动机器学习研究提供了最好的条件和可能性。

另外，吴博士也针对网友关心的几个问题提出了自己的看法。

• 从事机器学习是否需要一个高的学位。吴博士认为对于机器学习研究是否需要一个学位：答案是绝对不需要！一个博士学位是了解机器学习的一种很棒的途径。但是，许多顶尖的机器学习研究人员并没有一个博士学位。比如通过Coursera自主学习就是一种很好的方法。如果已经拥有的许多软件开发技巧，可以一直跟进MOOCs，并使用免费的在线资源（如deeplearning.stanford.edu/tutorial）。通过充分的自学足以在一个工业界的机器学习团队中获得一个好的位置。
  
• 
  
• 概率方法在深度学习中的地位。吴博士谈到，在深度学习的初期，Hinton开发了一些概率深度学习算法，如受限玻尔兹曼机，其使用对比散度算法进行训练。但是，这些模型实际上很复杂，而且计算归一化常数（划分函数）非常困难，导致实际上是采用复杂的MCMC和其他算法来进行训练。在接下来的几年中，研究人员意识到在大多数的情况下这种概率形式并没有提供任何优势，反而增加了复杂度。因此，几乎所有的深度学习算法都远离这种概率形式，改为使用计算确定的神经网络。（3）非监督学习的未来。吴博士认为虽然目前大部分成功的深度学习都是使用监督学习，但并不代表非监督学习在深度学习中没有作用，反而具有非常大的潜力，因为我们拥有的非标记数据比标记数据多得多，只是我们还没有找到很合适的非监督学习算法，因此非监督学习存在巨大的研究空间！
  
• 
  
  

吴博士也谈到，自己经常在思考从事研究的意义在哪里。在百度，吴博士团队的目标是开发出过硬的人工智能技术，从而让数亿的互联网用户受益。随着时间的推移，吴博士愈加觉得应该更加具有战略眼光，虽然已经看到前面还有很多的路要走，不仅仅是写一篇论文，而是要铺好一条道路让团队的技术能够为更多的人受益。在这些日子里，这是让两位专家对于自己的工作真正保持热情的源泉