AI100_机器学习日报 2017-10-20
@ 好东西传送门 出品,由@AI100运营， 过往目录 见 http://ai100.com.cn
订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群 
今日焦点 (5)
[img=20,20][/img] wx:让创新获得认可 网页链接 2017-10-20 20:07
深度学习 视觉 算法 应用 资源 自然语言处理 PDF 机器人 神经网络 王井东
「回顾 | 微软亚洲研究院资深研究员王井东：卷积神经网络结构设计—从更深到更宽」 本文为10月19日晚，微软亚洲研究院视觉计算组研究员王井东博士在将门技术社群，分享“卷积神经网络结构设计：从更深到更宽”的内容回顾，主要介绍了两种深度卷积神经网络结构设计方案。 获取本期完整PDF+视频回顾>>关注“将门创投”(thejiangmen)微信公众号，回复“171020”获取下载链接。 ……获取完整PDF+视频回顾>>关注“将门创投”(thejiangmen)微信公众号，回复“171020”获取下载链接。 -END-现已涵盖CV、机器人、NLP、ML、IoT等多个当下火热的技术话题。我们每周邀请来自产学研的优秀技术人进行线上分享，目前群里已汇聚数千位上述领域的技术从业者。入群方式>>关注“将门创投”（id:thejiangmen）微信公众号，在后台回复关键词“技术社群”，提交入群申请表。通过审核后，我们会在第一时间发出邀请。 将门创投让创新获得认可！微信：thejiangmenservice@thejiangmen.com via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
 外刊IT评论 网页链接 2017-10-20 17:07
经验总结 深度学习 David Silver Julian Schrittwieser 经验
【DeepMind团队介绍是如何使用人工智能开发最强AlphaGo的】#最强阿尔法狗诞生#昨天关于AlphaGo的报道再次震惊所有人。而就在前不久，这个史上最强围棋AI的两位主要开发者——David Silver和Julian Schrittwieser，做客知名网站reddit，展开一场超级问答AMA（Ask Me [...] http://t.cn/RWhVlcn
 PaperWeekly 网页链接 2017-10-20 10:56
应用 推荐系统
推荐一篇GAN综述 Generative Adversarial Networks: An Overview （来自PaperWeekly今日arXiv，一个arXiv paper推荐系统） http://t.cn/RWPSTFi
 SegmentFault 网页链接 2017-10-20 08:27
视觉 应用 推荐系统
【关于机器学习的11个开源工具】http://t.cn/RWvEOlI，作者：疯狂的技术宅（http://t.cn/RWvEOlx） 垃圾邮件过滤，人脸识别，推荐引擎 —— 当你有一个需要执行预测分析或模式识别的大型数据集时，机器学习是一条途径。 免费开源软件的激增使机器学习更容易在单机和大规模集群上实现，并支持大多数流...全文： http://m.weibo.cn/2036070420/4164842204605656
 ArnetMiner 网页链接 2017-10-20 00:01
经验总结 博客
【分享】《Learning Machine Learning? Six articles you don’t want to miss》初学者向：推荐机器学习初学者阅读的六篇文章 http://t.cn/RWvcQUi 来源：ibmbigdatahub 作者： Dinesh Nirmal
最新动态
[img=20,20][/img] wx:让创新获得认可 网页链接 2017-10-20 20:07
经验总结 深度学习 视觉 算法 应用 自然语言处理 Alpha Go Alpha Go Master Alpha Go Zero 白棋 博客 分类 机器人 柯洁 马少平 强化学习 神经网络 田渊栋 智能汽车 周志华
「观点 | AlphaGo Zero横空出世，看学界大牛们如何看这又一里程碑？」 Alpha Go Zero 的强大已经是毋庸置疑了，在与能够战胜人类第一高手的Master版本的对抗中取得约90%的胜率充分说明了Alpha Go Zero的高处不胜寒。以结果来说，也是对AI未来能够比人类更好的处理某些事情一个很好的证明。不过我“门”认为，从DeepMind 这次的论文提供的信息中还是能够看到一些有关目前阶段AI的一些不够完美的地方。 例如在自动驾驶课题中多次被提到的深度学习方法不好处理Corner Case的话题，在Alpha Go中一个相关的例子是征子的处理，本次Alpha Go Zero 采用了彻底的增强学习方式，不提前输入任何围棋相关的经验作为监督学习的参考，从0开始训练出了一个神一般的围棋高手。但是论文中也提到神经网络直到训练的（相对）后期才学会征子，而这个知识是人类学习围棋的过程中，最早学会的几个基础知识之一。不得不说，这应该是运气不好，导致这个情况在增强学习不断扩大的数据集中出现的比较晚，但也可以说，运气比较好终于出现了这种数据，最终解决了这个问题。如果不能克服这种靠运气的情况，深度学习对于Corner Case的处理总是存在令人担忧的地方。 还有一个有意思的地方，在Alpha Go Zero 对 Alpha Go Master 的对局的第20局棋谱中出现了一个令人吃惊情况，Master版本的Alpha Go贵为碾压所有人类顶尖棋手的神级高手，居然无法识别即使理论上也无法打赢的连环劫，从236手开始，陷入了一个没有希望的挣扎持续了近30手，在胜率低到无法挽回的地步后才结束抵抗认输。一方面是Master版本其实是与Zero版本同样的算法和结构训练出来的模型，差别是Master版本使用了一些人类棋谱数据作为监督训练的输入，而Zero版本没有采用任何人类棋谱作为输入。这种情况下，居然是有人类经验的Master版本没有处理好连环劫这种Corner Case, 反倒Zero版本完美解决了，这很可能又是一个关于Corner Case的运气的问题。 另一方面来说，即使是人类在没有学过连环劫的知识的时候，无法处理好，但应该会在被对手连环提劫3次，最多4次就会意识到这是一个无法获得好结果的地方，放弃纠缠，及时止损。但Master却无法在这一盘棋中近30手后进化到理解这个问题。这种没有见过的Corner Case如何及时处理，AI需要向人类学习一个更好的方法，不能仅依靠训练-推理的循环了。 此外，我们还摘录了几位学界大牛的相关评论，让我们再来看看他们怎么说？ 田渊栋 知乎专栏 https://zhuanlan.zhihu.com/yuandong 老实说这篇Nature要比上一篇好很多，方法非常干净标准，结果非常好，以后肯定是经典文章了。 Policy network和value network放在一起共享参数不是什么新鲜事了，基本上现在的强化学习算法都这样做了，包括我们这边拿了去年第一名的Doom Bot，还有ELF里面为了训练微缩版星际而使用的网络设计。另外我记得之前他们已经反复提到用Value network对局面进行估值会更加稳定，所以最后用完全不用人工设计的default policy rollout也在情理之中。 让我非常吃惊的是仅仅用了四百九十万的自我对局，每步仅用1600的MCTS rollout，Zero就超过了去年三月份的水平。并且这些自我对局里有很大一部分是完全瞎走的。这个数字相当有意思。想一想围棋所有合法状态的数量级是10^170（见Counting Legal Positions in Go），五百万局棋所能覆盖的状态数目也就是10^9这个数量级，这两个数之间的比例比宇宙中所有原子的总数还要多得多。仅仅用这些样本就能学得非常好，只能说明卷积神经网络（CNN）的结构非常顺应围棋的走法，说句形象的话，这就相当于看了大英百科全书的第一个字母就能猜出其所有的内容。用ML的语言来说，CNN的induction bias（模型的适用范围）极其适合围棋漂亮精致的规则，所以稍微给点样本水平就上去了。反观人类棋谱有很多不自然的地方，CNN学得反而不快了。我们经常看见跑KGS或者GoGoD的时候，最后一两个百分点费老大的劲，也许最后那点时间完全是花费在过拟合奇怪的招法上。 如果这个推理是对的话，那么就有几点推断。一是对这个结果不能过分乐观。我们假设换一个问题（比如说protein folding），神经网络不能很好拟合它而只能采用死记硬背的方法，那泛化能力就很弱，Self-play就不会有效果。事实上这也正是以前围棋即使用Self-play都没有太大进展的原因，大家用手调特征加上线性分类器，模型不对路，就学不到太好的东西。一句话，重点不在左右互搏，重点在模型对路。 二是或许卷积神经网络（CNN）系列算法在围棋上的成功，不是因为它达到了围棋之神的水平，而是因为人类棋手也是用CNN的方式去学棋去下棋，于是在同样的道路上，或者说同样的induction bias下，计算机跑得比人类全体都快得多。假设有某种外星生物用RNN的方式学棋，换一种induction bias，那它可能找到另一种（可能更强的）下棋方式。Zero用CNN及ResNet的框架在自学习过程中和人类世界中围棋的演化有大量的相似点，在侧面上印证了这个思路。在这点上来说，说穷尽了围棋肯定是还早。 三就是更证明了在理论上理解深度学习算法的重要性。对于人类直觉能触及到的问题，机器通过采用有相同或者相似的induction bias结构的模型，可以去解决。但是人不知道它是如何做到的，所以除了反复尝试之外，人并不知道如何针对新问题的关键特性去改进它。如果能在理论上定量地理解深度学习在不同的数据分布上如何工作，那么我相信到那时我们回头看来，针对什么问题，什么数据，用什么结构的模型会是很容易的事情。我坚信数据的结构是解开深度学习神奇效果的钥匙。 另外推测一下为什么要用MCTS而不用强化学习的其它方法（我不是DM的人，所以肯定只能推测了）。MCTS其实是在线规划（online planning）的一种，从当前局面出发，以非参数方式估计局部Q函数，然后用局部Q函数估计去决定下一次rollout要怎么走。既然是规划，MCTS的限制就是得要知道环境的全部信息，及有完美的前向模型（forward model），这样才能知道走完一步后是什么状态。围棋因为规则固定，状态清晰，有完美快速的前向模型，所以MCTS是个好的选择。但要是用在Atari上的话，就得要在训练算法中内置一个Atari模拟器，或者去学习一个前向模型（forward model），相比actor-critic或者policy gradient可以用当前状态路径就地取材，要麻烦得多。但如果能放进去那一定是好的，像Atari这样的游戏，要是大家用MCTS我觉得可能不用学policy直接当场planning就会有很好的效果。很多文章都没比，因为比了就不好玩了。 另外，这篇文章看起来实现的难度和所需要的计算资源都比上一篇少很多，我相信过不了多久就会有人重复出来，到时候应该会有更多的insight。大家期待一下吧。 马少平 马老师博文 http://blog.sina.com.cn/s/blog_73040b820102x2j6.html 从早上开始，就被AlphaGoZero的消息刷屏了，DeepMind公司最新的论文显示，最新版本的AlphaGo，完全抛弃了人类棋谱，实现了从零开始学习。 对于棋类问题来说，在蒙特卡洛树搜索的框架下，实现从零开始学习，我一直认为是可行的，也多次与别人讨论这个问题，当今年初Master推出时，就曾预测这个新系统可能实现了从零开始学习，可惜根据DeepMind后来透露的消息，Master并没有完全抛弃人类棋谱，而是在以前系统的基础上，通过强化学习提高系统的水平，虽然人类棋谱的作用越来越弱，但是启动还是学习了人类棋谱，并没有实现“冷”启动。 根据DeepMind透露的消息，AlphaGo Zero不但抛弃了人类棋谱，实现了从零开始学习，连以前使用的人类设计的特征也抛弃了，直接用棋盘上的黑白棋作为输入，可以说是把人类抛弃的彻彻底底，除了围棋规则外，不使用人类的任何数据和知识了。仅通过3天训练，就可以战胜和李世石下棋时的AlphaGo，而经过40天的训练后，则可以打败与柯洁下棋时的AlphaGo了。 真是佩服DeepMind的这种“把革命进行到底”的作风，可以说是把计算机围棋做到了极致。 那么AlphaGo Zero与AlphaGo（用AlphaGo表示以前的版本）都有哪些主要的差别呢？ 1，在训练中不再依靠人类棋谱。AlphaGo在训练中，先用人类棋谱进行训练，然后再通过自我互博的方法自我提高。而AlphaGo Zero直接就采用自我互博的方式进行学习，在蒙特卡洛树搜索的框架下，一点点提高自己的水平。 2，不再使用人工设计的特征作为输入。在AlphaGo中，输入的是经过人工设计的特征，每个落子位置，根据该点及其周围的棋的类型（黑棋、白棋、空白等）组成不同的输入模式。而AlphaGo Zero则直接把棋盘上的黑白棋作为输入。这一点得益于后边介绍的神经网络结构的变化，使得神经网络层数更深，提取特征的能力更强。 3，将策略网络和价值网络合二为一。在AlphaGo中，使用的策略网络和价值网络是分开训练的，但是两个网络的大部分结构是一样的，只是输出不同。在AlphaGo Zero中将这两个网络合并为一个，从输入到中间几层是共用的，只是后边几层到输出层是分开的。并在损失函数中同时考虑了策略和价值两个部分。这样训练起来应该会更快吧？ 4，网络结构采用残差网络，网络深度更深。AlphaGoZero在特征提取层采用了多个残差模块，每个模块包含2个卷积层，比之前用了12个卷积层的AlphaGo深度明显增加，从而可以实现更好的特征提取。 5，不再使用随机模拟。在AlphaGo中，在蒙特卡洛树搜索的过程中，要采用随机模拟的方法计算棋局的胜率，而在AlphaGo Zero中不再使用随机模拟的方法，完全依靠神经网络的结果代替随机模拟。这应该完全得益于价值网络估值的准确性，也有效加快了搜索速度。 6，只用了4块TPU训练72小时就可以战胜与李世石交手的AlphaGo。训练40天后可以战胜与柯洁交手的AlphaGo。 对于计算机围棋来说，以上改进无疑是个重要的突破，但也要正确认识这些突破。比如，之所以可以实现从零开始学习，是因为棋类问题的特点所决定的，是个水到渠成的结果。因为棋类问题一个重要的特性就是可以让机器自动判别最终结果的胜负，这样才可以不用人类数据，自己实现产生数据，自我训练，自我提高下棋水平。但是这种方式很难推广到其他领域，不能认为人工智能的数据问题就解决了。 周志华 周老师微博 http://weibo.com/3121700831/Frds ... mp;amp;type=comment 花半小时看了下文章，说点个人浅见，未必正确仅供批评：1. 别幻想什么无监督学习，监督信息来自精准规则，非常强的监督信息。2. 不再把围棋当作从数据中学习的问题，回归到启发式搜索这个传统棋类解决思路。这里机器学习实质在解决搜索树启发式评分函数问题。3. 如果说深度学习能在模式识别应用中取代人工设计特征，那么这里显示出强化学习能在启发式搜索中取代人工设计评分函数。这个意义重大。启发式搜索这个人工智能传统领域可能因此巨变，或许不亚于模式识别计算机视觉领域因深度学习而产生的巨变。机器学习进一步蚕食其他人工智能技术领域。4. 类似想法以往有，但常见于小规模问题。没想到围棋这种状态空间巨大的问题其假设空间竟有强烈的结构，存在统一适用于任意多子局面的评价函数。巨大的状态空间诱使我们自然放弃此等假设，所以这个尝试相当大胆。5. 工程实现能力超级强，别人即便跳出盲点，以启发式搜索界的工程能力也多半做不出来。6. 目前并非普适，只适用于状态空间探索几乎零成本且探索过程不影响假设空间的任务。 -END-现已涵盖CV、机器人、NLP、ML、IoT等多个当下火热的技术话题。我们每周邀请来自产学研的优秀技术人进行线上分享，目前群里已汇聚数千位上述领域的技术从业者。入群方式>>关注“将门创投”（id:thejiangmen）微信公众号，在后台回复关键词“技术社群”，提交入群申请表。通过审核后，我们会在第一时间发出邀请。 将门创投让创新获得认可！微信：thejiangmenservice@thejiangmen.com via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
[img=20,20][/img] wx:让创新获得认可 网页链接 2017-10-20 20:07
会议活动 入门 深度学习 算法 应用 资源 Carl Gunter GPU Jiawei Han Kaggle KDD SIGIR 行业动态 会议 活动 金融 课程 李沐 神经网络 统计 信息检索
「预告 | 跟李沐一起动手学深度学习第五课：Gluon高级和优化算法基础」 北京时间10月21日（周六）上午10点，将门联合亚马逊AI主任科学家李沐博士：从零开始入门深度学习第五课精彩继续！这次李沐博士将会和亚马逊应用科学家Aston Zhang一起，围绕“Gluon高级和优化算法基础”为大家带来介绍。 活动信息▼主题：Gluon高级和优化算法基础时间：10月21日（周六）10:00-12:00地点：将门创投斗鱼直播间课程提纲▼上周CIFAR10作业里小伙伴们已经刷到Kaggle Leaderboard的前三。还没开始的小伙伴可以考虑开始了。这节课前我们会对积极参与的小伙伴给予AWS credit奖励，希望大家能越调越好。（上次作业的奖励已经发放出去了，感谢AWS中国团队的支持。如有有漏发的小伙伴麻烦回复这个贴。） 这周课程我们介绍Gluon的高级使用，主要是关注性能。然后我们开始讲优化算法。我们也很荣幸请到亚马逊应用科学家Aston Zhang来教授优化这个章节。 他曾在谷歌研究院、微软研究院、雅虎实验室、瑞银和高频交易所实习。他毕业于伊利诺伊大学香槟分校，师从Carl Gunter和Jiawei Han教授，并获得计算机科学博士、硕士和统计学硕士学位。博士研究期间，他的第一作者论文发表在WWW、KDD和SIGIR。 更多信息请见：https://discuss.gluon.ai/t/topic/1843 参与互动▼除了斗鱼直播之外，我们还会专门建一个微信的交流群，方便大家实时的交流和提问。这个群虽然还会需要大家填写个人信息进行报名，但是在入群的资质审核上会宽松很多。斗鱼直播链接和入群方式>>关注“将门创投”(thejiangmen)微信公众号，在后台回复关键词“李沐”。你可能还想看：李沐：来一起动手学深度学习吧回顾 | 跟李沐一起动手学深度学习第一课：从上手到多类分类回顾 | 跟李沐一起动手学深度学习第二课：过拟合、多层感知机、GPU和卷积神经网络 回顾 | 跟李沐一起动手学深度学习第三课：深度卷积网络，如何使用Gluon，以及核武器购买指南回顾 | 跟李沐一起动手学深度学习第四课：BatchNorm，更深的卷积神经网络，Hybridize和新的Kaggle练习-END- 将门创投让创新获得认可！微信：thejiangmenservice@thejiangmen.com via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
 爱范儿视频 网页链接 2017-10-20 17:49
【爱范儿视频】华为 Mate 10 测评：全新徕卡双摄+人工智能+全面屏，新一代国产机皇？ | 作为很有希望赶超苹果和三星的国产手机厂商，华为发布的旗舰机自然也是备受关注，比如最近推出的三款新旗舰机 Mate 10，Mate 10 Pro 以及保时捷设计版 Mate 10。本期爱范儿验货，就跟着范团君来看看华为在 Mate 10...全文： http://m.weibo.cn/6086072138/4164983668940749
PaperWeekly 网页链接 2017-10-20 17:38
【三分熟博士生の阅读理解与问答数据集】 本期论文集由PaperWeekly社区用户@RamonYeung 创建，包含20份QA和机器阅读理解数据集。我们从中挑选了9份数据集进行展示，如果有合你心意的，复制链接到浏览器即可进行下载。http://t.cn/RW76x1s
 清华大学 网页链接 2017-10-20 16:09
会议活动 陈立杰 会议 统计 姚班
清华大学姚班计科30班陈立杰同学的研究论文《关于统计零知识证明的能力》（On the Power of Statistical Zero Knowledge）于7月1日被第五十八届国际电子与电气工程师协会计算机科学基础年会接收。当地时间10月17日，陈立杰赴美国加州大学伯克利分校参加年会并作大会口头报告。陈立杰也成为首位在理论计...全文： http://m.weibo.cn/1676317545/4164958651068442
老赵 网页链接 转发于2017-10-20 17:52 回复 @-SujiYan- “丽姐牛逼”
跪了，你进清华是因为你能进清华，他进清华是因为最高只是清华。清华学生的方差其实是最高的。
 ChatbotsChina 网页链接 2017-10-20 14:37
自然语言处理 行业动态
秒懂！看机器学习如何净化处理文本 By 阿里云云栖社区 http://t.cn/RWhNKTG
 机器之心Synced 网页链接 2017-10-20 12:14
视觉 行业动态
【谷歌发布人类动作识别数据集AVA，精确标注多人动作】视频人类动作识别是计算机视觉领域中的一个基础问题，但也具备较大的挑战性。现有的数据集不包含多人不同动作的复杂场景标注数据，今日谷歌发布了精确标注多人动作的数据集——AVA，希望能够帮助开发人类动作识别系统。http://t.cn/RWPgXIV
 文因互联 网页链接 2017-10-20 10:36
架构 知识工程 资源 Hadoop 课程 知识库
推荐给对知识图谱技术感兴趣的你，不论是有志于从业还是仅仅对技术的成果好奇，这门课程是一个不错的选择，限于篇幅，无法将全部课程大纲截图，点击链接可以查看小象学院的团购详情：http://t.cn/ROdoCKr（微博无法直接下单，建议微信打开或者公众号搜索【小象学院】）
 南大周志华 网页链接 2017-10-20 10:01
深度学习
花半小时看了下文章，说点个人浅见，未必正确仅供批评：1. 别幻想什么无监督学习，监督信息来自精准规则，非常强的监督信息。2. 不再把围棋当作从数据中学习的问题，回归到启发式搜索这个传统棋类解决思路。这里机器学习实质在解决搜索树启发式评分函数问题。3. 如果说深度学习能在模式识别应用中取代...全文： http://m.weibo.cn/3121700831/4164865846770424
 蚁工厂 网页链接 2017-10-20 09:27
视觉 资源 数据
Google开放了他们的一个人类动作识别数据集（AVA）。这个数据集有5万多个视频片段，21万个动作标注。视频来自于YouTube。 http://t.cn/RWvsp90
 开发者头条 网页链接 2017-10-20 08:35
应用 推荐系统
个性化推荐系统（三）：推荐系统意义一点思考 http://t.cn/RWvYLrK 分享自 @杉枫 开通的独家号《个性化推荐系统闲思录》 http://t.cn/ROkqpLP （想看更多？下载 @开发者头条 App：http://t.cn/RJyDMlJ ）
 南京轻搜 网页链接 2017-10-20 07:37
经验总结 博客 行业动态
【谷歌AI识别YouTube极端视频】据科技博客VentureBeat北京时间10月19日报道，在推出人工智能(AI)项目来打击暴力极端主义内容四个月后，谷歌公司旗下视频网站YouTube周三称，在识别和移除此类内容上，公司的效率大大提升，这要归功于机器学习技术。@cnBeta http://t.cn/RqQCBk2 ...全文： http://m.weibo.cn/5897818869/4164829616376542
 爱可可-爱生活 网页链接 2017-10-20 06:05
【PathTrack众包多目标追踪轨迹标记数据集】“PathTrack: Fast Trajectory Annotation with Path Supervision”http://t.cn/RWvOJtE
爱可可-爱生活 网页链接 2017-10-20 06:02
资源 自然语言处理 Kaggle 书籍
【Kaggle新赛：大型杂货连锁店销量预测】《Corporación Favorita Grocery Sales Forecasting - Can you accurately predict sales for a large grocery chain? | Kaggle》 http://t.cn/RWvOtIM
爱可可-爱生活 网页链接 2017-10-20 05:46
深度学习 Python 代码
'Pytorch inside Theano - Run Pytorch graphs inside Theano graph (and pytorch wrapper for AIS for generative models).' by Dmitry Ulyanov GitHub: http://t.cn/RWv0Een
| 
发表于 2017-10-27 17:05:48
