深度学习是否以蛮力取胜?

贾伟中科院合肥

深度学习是否以蛮力取胜? 2015-10-14 新智元

微信号 AI_era

功能介绍 智能+中国的资讯社交平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人、大数据、虚拟现实、量子计算、智能医疗等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领

航中国新智能时代。

感谢爱可可荐文。本文编译自 “Does Deep Learning Come from the Devil？”和顾险峰教授作品【机械蛮力与人类智能】符号主义和联接主义的魔咒

Vladimir Vapnik 介绍：
Vladimir Vapnik 被称为统计学习理论之父，他出生于俄罗斯，1990 年底移居美国，在美国贝尔实验室一直工作到 2002 年，之后加入了普林斯顿的 NEC 实验室机器学习研究组，同时任哥伦比亚大学特聘教授。2006 年，Vladimir 称为美国工程院院士。2014年 Vladimir Vapnik 加入 Facebook 人工智能实验室。Vladimir Vapnik 在机器学习上有很多奠基之作，例如 Vapnik–Chervonenkis 理论，Vladimir 是主要发明者。



Facebook 去年底挖来了一个机器学习大神 Vladimir Vapnik，他是统计学习理论和支持向量机的主要发明者。近日 Vladimir 在 Yandex（俄罗斯最大的搜索引擎公司）大会上发表了讲话，重点讨论了深度学习是否以蛮力取胜？

来自加利福尼亚大学圣地亚哥分校的 Zachary Chase Lipton 博士详细记录了会议内容，并整理成文章如下：

上周，我来到柏林参加机器学习：展望和应用大会。这个大会由 Yandex（俄罗斯最大的搜索引擎公司）举办，主要谈了 Deep Learning 和 Intelligent Learning 两个问题，它们经常作为对比的概念出现。

虽然我自己也是演讲者之一，但是整个会议的高潮部分，还是关于深度学习的方法论，其中经验主义和数学推理中的矛盾部分。

第一条是关于深度学习的晚宴，讨论的是背后的数学支撑，以及未来的方向。问题包括了模型的可解释性和医疗领域的应用。到了周三晚上，Vladimir Vapnik 也参与了讨论，说的是知识如何在不同的个体之间传递。Vladimir 的哲学观横跨了机器学习、数学和智能的源头，并且挑战了深度学习的方法论，这很有争议。

其实在今年夏天，我就写文章说机器学习的成功，是大数据时代经验主义的胜利。在里面我强调说，过度去拟合数据，虽然能在真实数据中得到检验，但里面会有很大风险，至少比基于数学推理建立的系统风险大得多。在这次会议中，我听到了 Vladimir 在这方面的观点。

为了避免混淆视听，我得强调：我是一个深度学习的实践者。我个人并不否认深度学习，而且对它的先行者和火炬手充满尊敬。但我也同样相信，我们应该对深度学习的可能性抱有开放性的态度：

即会有一些数学模型，能够更好的指明未来发展方向，开启新的方法论。

很显然，当我们去咀嚼和消化这些观点的时候，能够得到很大的价值。



大数据与深度学习是一种蛮力？



尽管 Vapnik 当场说了很多观点，但是最核心的还是援引了爱因斯坦关于上帝的隐喻。简单的说，Vapnik 假设了一个理论，想法和直觉要么来自上帝，要么出自魔鬼。而区别在于，上帝是智慧的，而魔鬼往往不是。

在作为数学家和机器学习研究和践行者的生涯中，Vapnik 得出了一个结论：魔鬼往往来自于蛮力（ Brute Force）。进一步说，如果承认深度学习系统在解决问题时不可思议的表现，那么大数据和深度学习，都有某种蛮力的味道。

（这时候一名观众提问：进化是否来自于蛮力？但 Vapnik 以不喜欢猜测为由拒绝给出回答。）

不过，我自己并不同意深度学习必须等同于机器蛮力。我们如今也能看到对于大数据的观点争论，其中 Vapnik 和 Nathan Intrator 教授就说，小孩不需要几亿的标签样本以完成学习。虽然有大量带有标签的数据时，学习会成为一件比较容易的事，但如果依赖这样的方法，我们就错失了自然界中关于学习的基本原理。


也许，真正的学习只需要数百样本，而我们现在却只有非常大的数据量才能完成学习。如果我们不去探寻学习的本质，那就说屈从于懒惰。


深度学习还是深度工程？



我们现在的深度学习并非科学。确切的说，机器学习和核心任务是理解计算本身，而现在的方法和它有所背离。这就好比任务是制造小提琴，而我们扮演的角色不过是小提琴演奏者，虽然也能创作美妙的音乐，也有演奏的直觉，但我们并不知道小提琴如何创造出音乐。

进一步说，很多深度学习实践者，他们对数据和工程有很好的感觉，但其实不知道里头是怎么回事。所以在目前的深度学习方法中，参数的调节方法依然是一门“艺术”，而非“工艺”。


在算法和模型上，我们是否能发明所有东西？



Vapnik 认为，在机器学习的算法和模型上，我们并不能发明所有东西。他坚持向现场观众说，他自己并没有如此的聪明才智，以完成这些算法模型的发明。（这似乎也在暗示，其他人也没有那么聪明，去发明这些玩意）

按照 Vapnik 的意思，我们在机器学习上发明的东西是微不足道的。真正重要的东西，来自于我们对数学本质的理解。就深度学习来说，模型经常被发明出来，品牌化并申请专利，但这些相比于真正由数学驱动的机器学习，就显得很一般了。


相关性科学和因果性科学



关于深度学习的反思，来自纽约州立大学的顾险峰教授也有很多理解。前些时间顾险峰教授给新智元投稿，谈到了机器学习研究范式的变迁，以及背后不足的地方。


顾险峰认为，深度学习方法深刻地转变了学术研究的范式。以前学者们所采用的观察现象，提炼规律，数学建模，模拟解析，实验检验，修正模型的研究套路被彻底颠覆，被数据科学的方法所取代：收集数据，训练网络，实验检验，加强训练。

在深度学习新方法下，严格的数学推理缺失了。比如说地图四色定理的证明，数学家将平面图的构型分成 1936 种，然后用计算机逐一验证。当然在足够的算力下，这可以证明地图四色定理。但是在这个过程中：

没有新颖概念提出，换言之，机械蛮力代替了几何直觉。

而在数学历史上，对于一个著名猜想的证明和解答，答案本身并不重要，在寻找证明的过程中所凝练的概念，提出的方法，发展的理论才是真正目的所在。机械定理证明验证了命题的真伪，但是无法明确地提出新的概念和方法，实质上背离了数学的真正目的。

所以说，这是一种“相关性”而非“因果性”的科学。历史上，人类积累科学知识，在初期总是得到“经验公式”，但是最终还是寻求更为深刻本质的理解。例如从炼丹术到化学，量子力学的发展历程。

人类智能最为独特之处也在于数学推理，特别是机械定理证明，对于这一点机器学习方法是无能为力的。当人的数学推理缺失的时候，仅仅依靠机器蛮力，就会遇到很大的制约。


王涛爱奇艺首席科学家
寄语：新智元吸引了人工智能爱好者，从业者; 更有人工智能极客和大咖。祝愿新智元成为人工智能领域的新源泉！共同探索人工智能前沿技术，铸就人工智能发展的辉煌！_______________