专家展望未来5年深度学习发展趋势

贾伟中科院合肥

专家展望未来5年深度学习发展趋势

2016-01-06

人工智能学家

译者/刘翔宇 审校/刘帝伟 责编/仲浩

2015年已然过去，2016刚刚开始，回头将目光集中于去年的成就上，以及对将来科学趋势的预测。去年最令人瞩目的一个领域就是深度学习，它是机器学习中越来越流行的一个分支，看起来它会继续向前发展，并会运用到越来越多的行业和领域中。

在过去的一年中，我们有幸通过RE•WORK节目与从事人工智能和计算机科学方面的许多大牛进行交流，我们期待在2016年会晤更多的专家，并向他们学习。

作为Q&A系列的一部分，我们邀请了一些深度学习方面最为资深的人士，来预测深度学习领域未来5年的可能发展情况。

未来5年我们可能看到深度学习会有怎样的发展？

Ilya Sutskever，OpenAI研究总监：我们应该会看到更为深层的模型，与如今的模型相比，这些模型可以从更少的训练样例中学习，在非监督学习方面也会取得实质性进展。我们应该会看到更精准有用的语音和视觉识别系统。

Sven Behnke，波恩大学全职教授、自主智能系统小组负责人：我期望深度学习能够越来越多地被用于多模（multi-modal）问题上，在数据上更结构化。这将为深度学习开创新的应用领域，比如机器人技术，数据挖掘和知识发现。

Christian Szegedy，谷歌高级研究员：目前深度学习算法和神经网络的性能与理论性能相去甚远。如今，我们可以用五到十分之一的成本，以及十五分之一的参数来设计视觉网络，而性能比一年前花费昂贵成本设计出的网络更优，这完全凭借改善的网络架构和更好的训练方法。我坚信，这仅仅只是个开始：深度学习算法将会更高效，能够在廉价的移动设备上运行，即使没有额外的硬件支持或是过高的内存开销。

Andrej Karpathy，斯坦福大学在读计算机科学博士、OpenAI研究科学家：我不打算从高层面描述几个即将到来的有趣发展，我将会集中于一个方面作具体描述。我看到的一个趋势是，架构正在迅速地变得更大、更复杂。我们正在朝着建设大型神经网络系统方面发展，交换神经组件的输入输出，不同数据集上预训练的网络部分，添加新模块，同时微调一切等等。比如，卷积网络曾是最大/最深的神经网络架构之一，但如今，它被抽象成了大多数新架构中的一小部分。反过来，许多这些架构也会成为将来创新架构中的一小部分。我们正在学习如何堆“乐高积木”，以及如何有效地将它们连线嵌套建造大型“城堡”。了解更多Andrej的想法，点击这里。

Pieter Abbeel，加州大学伯克利分校计算机科学副教授、Gradescope联合创始人：有很多技术都基于深度监督式学习技术，视频技术也是一样，搞清楚如何让深度学习在自然语言处理方面超越现在的方法，在深度无监督学习和深度强化学习方面也会取得显著进步。

Eli David，Deep Instinct CTO：在过去的两年中，我们观察到，在大多数使用了深度学习的领域中，深度学习取得了极大的成功。即使未来5年深度学习无法达到人类水平的认知（尽管这很可能在我们有生之年发生），我们也将会看到在许多其他领域里深度学习会有巨大的改进。具体而言，我认为最有前途的领域将是无监督学习，因为世界上大多数数据都是未标记的，而且我们大脑的新皮层是一个很好的无监督学习区域。

Deep Instinct是第一家使用深度学习进行网络安全研究的公司，在今后几年，我希望有更多的公司使用深度学习进行网络安全研究。然而，使用深度学习的门槛还是相当高的，尤其是对那些通常不使用人工智能方法（例如，只有少数几个解决方案采用经典机器学习方法）的网络安全公司，所以在深度学习成为网络安全领域广泛运用的日常技术之前，这还将需要数年时间。

Daniel McDuff，Affectiva研究总监：深度学习已经成为在计算机视觉，语音分析和许多其他领域占优势的机器学习形式。我希望通过一或两个GPU提供的计算能力构建出的精准识别系统能够让研究人员在现实世界中开发和部署新的软件。我希望有更多的重点放在无监督训练、半监督训练算法上，因为数据一直不断增长。

Jörg Bornschein，加拿大高级研究所（CIFAR）全球学者：预测未来总是很难。我希望无监督、半监督和强化学习方法将会扮演比今天更突出的角色。当我们考虑将机器学习作为大型系统的一部分，比如，在机器人控制系统或部件中，掌控大型系统计算资源，似乎很明显地可以看出，纯监督式方法在概念上很难妥善解决这些问题。

Ian Goodfellow，谷歌高级研究科学家：我希望在五年之内，我们将可以让神经网络总结视频片段的内容，并能够生成视频短片。神经网络已经是视觉任务的标准解决方案了。我希望它也能成为NLP和机器人任务的标准解决方案。我还预测，神经网络将成为其他科学学科的重要工具。比如，神经网络可以被训练来对基因、药物和蛋白质行为进行建模，然后用于设计新药物。

Nigel Duffy，Sentient Technologies CTO：目前大数据生态系统一直专注于收集，管理，策展大量数据。很明显，在分析和预测方面也有很多工作。从根本上说，企业用户不关心那些。企业用户只关心结果，即“这些数据将会改变我的行为方式吗？将会改变我做出的抉择吗？”我们认为，这些问题是未来5年需要解决的关键问题。我们相信，人工智能将会是数据和更好的决策之间的桥梁。

很明显，深度学习将会在演变中起到显著的作用，但需要与其他人工智能方法结合。在接下来的5年里，我们会看到越来越多的混合系统中，深度学习用于处理一些难以感知的任务，而其他人工智能和机器学习（ML）技术用于处理其他部分的问题，如推理。

Koray Kavukcuoglu & Alex Graves，谷歌DeepMind研究科学家：未来5年会发生许多事。我们希望无监督学习和强化学习会更加杰出。我们同样希望看到更多的多模式学习，以及对多数据集学习更加关注。

Charlie Tang，多伦多大学机器学习小组博士生：深度学习算法将逐步用于更多的任务并且将“解决”更多的问题。例如，5年前，人脸识别算法的准确率仍然比人类表现略差。然而，目前在主要人脸识别数据集（LFW）和标准图像分类数据集（Imagenet）上算法的表现已经超过了人类。在未来5年，越来越难的问题，如视频识别，医学影像或文字处理将顺利由深度学习算法解决。我们还可以看到深度学习算法被移植到商业产品中，就像10年前人脸检测如何被纳入相机中一样。

原文地址：Deep learning experts discuss the next 5 years。极客头条

译者介绍：刘翔宇，中通软开发工程师，关注机器学习、神经网络、模式识别