AI100_机器学习日报 2017-10-15
@ 好东西传送门 出品,由@AI100运营， 过往目录 见 http://ai100.com.cn
订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群 
今日焦点 (5)
 爱可可-爱生活 网页链接 2017-10-15 15:18
深度学习 自然语言处理 Valentin Malykh
【近期自然语言生成(NLU)/增强学习(RL)文献选集】’Recent Deep Learning papers in NLU and RL' by Valentin Malykh GitHub: https ://github .com/madrugado/deep-learning-nlp-rl-papers
[img=20,20][/img] wx: 网页链接 2017-10-16 04:40
公告板 深度学习 视觉 算法 分类 可视化 迁移学习 神经网络 朱松纯
「【深度】可解释性与deep learning的发展」来源：知乎 -Qs.Zhanghttps://zhuanlan.zhihu.com/p/30074544【导读】大家好，我叫张拳石，UCLA博士后。目前在朱松纯老师的实验室，带领一个团队，做explainable AI方向。本文的题目有些大，这篇短文中，我只简单谈谈个人对deep learning发展状况的感受，和我最近的explanatory graph for CNNs和interpretable CNN两个研究课题。希望大家批评指正。当deep learning刚刚在CV圈子里面兴起的时候，我并没有第一时间给予足够的关注，直到几个月后，变革的巨浪拍下，旧方向消亡的速度和新技术诞生的节奏都大大超过我的预期。相信很多人都有类似的感觉。一方面，deep learning超强的performance终结了一批旧的算法。另一方面，相比于传统graph-based methods，deep learning大大降低了算法多样性，简化了算法设计的复杂度。一时间，做CV研究的思路变得非常清晰：设计一个新的loss，提出一个新的网络结构，把传统的heuristic方法hard encoded到网络结构中去实现端对端学习。一两项技术能够把CV领域改造到这种地步，deep learning为AI带来巨大的改变。然而当端对端学习神经网络犹如烈火烹油迅速发展的时候，我和周围的很多学者不时的会感觉到一丝的隐忧：端对端的训练一个black-box model会一直平稳的向下发展吗？随着网络结构和loss function的设计越来越复杂，神经网络真的会按照设计老老实实的去表达人们希望它表达的知识吗？抱着这样的焦虑，很多学者致力于visualization of CNN knowledge，让CNN中每个unit的知识清晰的展现在人们的面前。更进一步，@周博磊定义出一系列标准去评测CNN知识的interpretability。但是归根结底，在端对端学习之外，我觉得还需要找到一套新的神经网络操作工具，即让神经网络具有清晰的符号化的内部知识表达，去匹配人类自身的知识框架，从而人们可以在语义层面对神经网络进行诊断和修改。从logic-based专家系统，到graphical model，再到深度神经网络，模型的flexibility和performance逐渐提高。但是，从相反的方向，把一个神经网络的内部逻辑转化成graphical representations，或者logic-based rules，从而提高知识表达的interpretability。有了清晰的内部表达，那么对神经网络的训练是不是不但可以end-to-end，而且可以end-to-middle，middle-to-middle？当网络内部一些单元具有了某种语义，那么transfer learning是不是直接在语义层面指派就好了，不需要大数据去训练了？当网络训练可以深入到网络的内部语义，或许deep learning未来的发展会有更多的可能性。我希望一个CNN不仅仅告诉我它在某张图像上检测到一只小鸟，我还要CNN明确的告诉我，它用第一个filter去监测鸟头，第二个filter去检测鸟尾巴。因为这两个filter被这张图像触发，所以判断出图像中有一只小鸟。进一步，当我知道鸟的分类得分是0.7，我还希望CNN给出鸟头部分贡献了0.3的分数，鸟尾贡献了0.2。当CNN内部逻辑足够条理清晰，我们是否还需要通过大数据进行端对端的训练？我们能否在语义层面直接debug CNN呢？沿着这条思路，在“Interpreting CNN knowledge via an Explanatory Graph”一文中，我主要介绍了如何把一个CNN（pre-trained for object classification）的conv-layer内部知识转化成一个graphical model。算法自动学习出一个explanatory graph with tens of thousands of nodes去解释CNN内部的hierarchical知识结构。Explanatory graph中每一个node，严格表示在CNN中某个conv-layer的某个object part pattern。这样我就可以把混乱的CNN的知识拆分成几十万个object parts的子patterns。每个子pattern有很强的可迁移性(transferability)，比如在multi-shot part localization的上可以降低1/3—2/3的误差。 转自：专知 阅读全文请点击“阅读原文” via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
[img=20,20][/img] wx: 网页链接 2017-10-16 04:40
公告板 算法 自然语言处理 强化学习 问题
「干货|训练集、验证集和测试集的意义」在有监督的机器学习中，经常会说到训练集（train)、验证集（validation）和测试集（test），这三个集合的区分可能会让人糊涂，特别是，有些读者搞不清楚验证集和测试集有什么区别。 如果我们自己已经有了一个大的标注数据集，想要完成一个有监督模型的测试，那么通常使用均匀随机抽样的方式，将数据集划分为训练集、验证集、测试集，这三个集合不能有交集，常见的比例是8:1:1，当然比例是人为的。从这个角度来看，三个集合都是同分布的。如果是做比赛，官方只提供了一个标注的数据集（作为训练集）以及一个没有标注的测试集，那么我们做模型的时候，通常会人工从训练集中划分一个验证集出来。这时候我们通常不再划分一个测试集，可能的原因有两个：1、比赛方基本都很抠，训练集的样本本来就少；2、我们也没法保证要提交的测试集是否跟训练集完全同分布，因此再划分一个跟训练集同分布的测试集就没多大意义了。 有了模型后，训练集就是用来训练参数的，说准确点，一般是用来梯度下降的。而验证集基本是在每个epoch完成后，用来测试一下当前模型的准确率。因为验证集跟训练集没有交集，因此这个准确率是可靠的。那么为啥还需要一个测试集呢？这就需要区分一下模型的各种参数了。事实上，对于一个模型来说，其参数可以分为普通参数和超参数。在不引入强化学习的前提下，那么普通参数就是可以被梯度下降所更新的，也就是训练集所更新的参数。另外，还有超参数的概念，比如网络层数、网络节点数、迭代次数、学习率等等，这些参数不在梯度下降的更新范围内。尽管现在已经有一些算法可以用来搜索模型的超参数，但多数情况下我们还是自己人工根据验证集来调。 转自：机器学习算法与自然语言处理 完整内容请点击“阅读原文” via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
[img=20,20][/img] wx: 网页链接 2017-10-16 04:40
算法 资源 自然语言处理 Charles Dickens 课程 神经网络 书籍
「词袋模型的通俗介绍」所谓的词袋（Bag-of-words）模型是一种用机器学习算法对文本进行建模时表示文本数据的方法。 在本教程中，你将了解到自然语言处理中的特征抽取方法。完成本教程后，你将知道：1.什么是词袋（Bag-of-words）模型，以及为什么需要用它来表示文本。2.如何为一组文档开发一个词袋（Bag-of-word）模型。3.如何使用不同的技术准备词汇和单词。 教程概述本教程分为6部分; 它们是：1.文本问题。2.什么是词袋（Bag-of-Words）?3.Bag-of-Words模型的例子。4.管理词汇（managing vocabulary）。5.得分词(scoring words)6.词袋（Bag-of-Words）的局限。 1、文本问题机器学习这样的技术比较喜欢被定义好的固定长度的输入和输出，因此不固定输入输出是文本建模的一个问题。机器学习算法不能直接处理原始文本，文本必须转换成数字。具体来说，是数字的向量。 “在语言处理中，向量x是由文本数据派生而来的，以反映文本的各种语言属性。”在自然语言处理中神经网络方法,2017年。这被称为特征提取或特征编码。这是一种流行的、简单的文本数据提取方法被称为文本的词汇模型。 2、什么是词袋(Bag-of-Words)？一个简单的词袋模型（BOW），是一种使用机器学习算法。从文本中提取特征的方法。该方法非常简单和灵活，可以用于从文档中提取各种功能的各种方法。词袋（Bag-of-words）是描述文档中单词出现的文本的一种表示形式。它涉及两件方面： 1.已知词汇的集合。2.测试已知单词的存在。 因为文档中单词是以没有逻辑的顺序的放置，所以称为单词的“袋子”。该模型只关注文档中是否出现已知的单词，并不关注文档中的出现的单词。“bag-of-words方法(BOW)是句子和文件的一个非常常见的特征提取程序。在这种方法中，我们查看文本中单词的直方图，也就是将每个单词计数作为一个特性。”- 自然语言处理中的神经网络方法，2017。 词袋（bag-of-words）可以像你喜欢的那样简单或复杂。其复杂性在于决定如何设计已知单词（或令牌）的词汇量以及如何统计已知单词的存在。接下来我们将仔细研究这两个问题。 3、词袋（Bag-of-Words）模型的例子让我们用一个有效的例子来制作一个词袋（bag-of-words）模型。步骤1：收集数据以下是Gutenberg项目中Charles Dickens的《双城记》一书中的前几行文字。“It was the best of times,it was the worst of times,it was the age of wisdom,it was the age of foolishness,”对于这个小示例，我们将每一行视为一个单独的“文档”，将4行视为整个文档。步骤2：设计词汇现在我们可以列出我们的模型词汇表中的所有单词：• “it”• “was”• “the”• “best”• “of”• “times”• “worst”• “age”• “wisdom”• “foolishness”这是一个由包括24个词组成的语料库中其中包含10个词汇。 步骤3：创建文档向量下一步是在每个文档中记录单词。目的是将自由文本的每个文档转换为一个文本向量，这样我们就可以将其用作机器学习模型的输入或输出。 因为我们知道词汇有10，所以我们可以使用固定长度为10的文档，来表示向量中的每一个单词的位置。 最简单的设计方法是将单词的存在标记为布尔值，0表示缺席，1表示存在。使用我们的词汇表中列出的任意顺序排列，我们可以通过第一个文档（“It was the best of times”），并将其转换为二进制向量。 转自：云栖社区 via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
爱可可-爱生活 网页链接 2017-07-24 17:47
冯超
《无痛的增强学习入门：基本概念篇》by 冯超 via:@InfoQ http://t.cn/R9vJqKD
最新动态
[img=20,20][/img] wx: 网页链接 2017-10-15 21:28
行业动态 熊笑
「谷歌IBM等8家技术公司推出开源API Grafeas，统一管理软件供应链」 【AI WORLD 2017世界人工智能大会倒计时 24 天】 抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026 大会官网：http://www.aiworld2017.com 新智元编译 来源：programmableweb.com译者：熊笑【新智元导读】谷歌、IBM 和其他一些科技公司联合推出了开源 API Grafeas，能够存储、查询和检索所有类型软件组件的重要元数据，帮助企业构建规模尺度上的安全和管理的综合模型，为企业定义统一的方式来审计和管理其软件供应链。 谷歌、IBM 和其他一些科技公司推出了 Grafeas，一个开源API，用于存储、查询和检索所有类型软件组件的重要元数据。使用Grafeas API，公司可以将数据与其他元数据相结合，构建大规模尺度上安全和管理的综合模型。 大规模尺度上的管理和安全，无论是对大型企业还是中小型企业来说，都提出了诸多挑战。因为目前出现的一些趋势造成的，比如增加了开源软件的采用，分散化和持续交付，以及微服务架构的兴起。使用越来越多的碎片化工具集和混合云部署的公司数量也在增加。 由于上述趋势，组织正在生成大量的元数据，并且该元数据具有不同的格式，存储在多个地方，并且来自各个供应商。 Google 与 IBM、Aqua Security、BlackDuck、CoreOS、JFrog、Red Hat 以及Twistlock 合作开发了Grafeas，一个旨在为企业定义统一的方式来审计和管理其软件供应链的开源项目。 作为一个新设立的联合开源项目，Grafeas 为用户提供了一个标准化的方式，便于其审核和管理他们的软件供应链。 该项目的主要重点是开发作为开放源代码工件元数据API 的开源Grafeas API。参与该项目的技术公司正在开发此API，使其可插拔和结构化，具有强大的访问控制和丰富的查询能力，并支持通用的工件元数据。存储、查询和检索软件工件元数据（无论存储数据的位置或软件工件类型是什么）的能力使得公司可以在不同环境中获得其软件供应链360 度的视图。 本质上来说，Grafeas 定义了一个围绕代码部署和管道构建、收集所有元数据的应用程序接口（API）。这意味着要保持作者身份和代码记录、每段代码的部署、标记代码是否通过了安全扫描、使用了哪些组件（是否有漏洞）、以及 Q&A 等内容。 各合作伙伴都将诚意摆到了台面上。挑战在于，JFrog 需要在 Xray API 中部署其系统，Red Hat 会在自家容器平台 OpenShift 中增强其安全性和自动化功能，而 CoreOS 将整合 Tectonic Kubernetes 平台。 原文地址：https://www.programmableweb.com/ ... pi/brief/2017/10/14 【AI WORLD 2017世界人工智能大会倒计时 24天】点击图片查看嘉宾与日程。大会门票销售火热，抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026【扫一扫或点击阅读原文抢购大会门票】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
[img=20,20][/img] wx: 网页链接 2017-10-15 21:28
经验总结 入门 深度学习 视觉 算法 应用 Emil Wallner GPU 博客 代码 分类 广告系统 机器人神经网络
「【深度学习自动上色，数月工作几秒完成】开源神经网络图片上色技术解析」 【AI WORLD 2017世界人工智能大会倒计时 24 天】 抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026大会官网：http://www.aiworld2017.com 新智元编译 来源：blog.floydhub.com作者：Emil Wallner编译：费欣欣【新智元导读】本文是作者对Reddit社区用户Amir Avni深度学习上色机器人的实现，看完本文后，你也能打造媲美大师级着色效果的自动上色神经网络应用。此外，还有一个好处，即使失败了（例如本文头图，见上），你也可以说这是艺术：） 如今，上色都是人手工用Photoshop做的，一张图片要花好几个月才能完成，需要进行大量调查研究，光是其中的一张脸就需要多达20层图层。但是，基于深度神经网络的自动着色机器人，可以几秒钟就实现PS几个月的效果，而且成效越来越惊人。 下面，我们将分三个步骤展示如何打造你自己的着色神经网络。第一部分讲解核心逻辑。我们将构建一个40行代码的神经网络，作为“Alpha”着色机器人，这个代码片段实际上没有太多的魔法，但可以让你熟悉基本操作。 然后，我们将创建一个可以泛化的神经网络——“Beta”版本。Beta机器人能对以前没有看到的图像着色。 最后，我们将神经网络与一个分类器相结合，得到“最终”版本。我们将使用120万张图像训练过的Inception Resnet V2。为了让着色效果吸引眼球，我们将使用Unsplash（免费图库，里面的图片非常有艺术感和设计感）的人像作为数据，训练我们的神经网络。 在本节中，我将概述如何渲染图像，数字颜色的基础知识以及神经网络的主要逻辑。 黑白图像可以在像素网格中表示。每个像素具有对应于其亮度的值，范围为0 - 255，从黑色到白色。 彩色图像由三层组成：红色层，绿色层和蓝色层。直观地，你可能会认为植物只存在于绿色层。但是，如下图所示，绿色的叶子在三个通道中都有。这些层不仅可以确定颜色，还可以确定亮度。 为了得到白色这个颜色，需要将所有颜色均匀分布。通过添加等量的红色和蓝色，绿色会变得更亮。因此，彩色图像使用三层对颜色和对比度进行编码： 就像黑白图像一样，彩色图像中每个图层的值也都为0 - 255。值为0意味着该图层中没有颜色。 如果所有颜色通道的值都为0，则图像像素为黑色。 神经网络会创建输入值和输出值之间的关系。更准确地说，着色任务实际上就是网络需要找到链接灰度图像与彩色图像的特征。 因此，着色机器人要寻找的，就是将灰度值网格链接到三色网格的特征。 我们从简单的神经网络开始，给一张女性脸部图像（见下）着色。 只需40行代码，我们就能实现以下转换。中间的图像是用神经网络完成的，右边的图片是原始的彩色照片。当然，这里的网络使用了相同的图像做训练和测试，稍后我们将在Beta版本中再来讲这一点。 颜色空间 首先，我们使用一种算法来改变颜色通道，从RGB到Lab。L表示亮度，a和b分别表示颜色光谱，绿-红和蓝-黄。 如下所示，Lab编码的图像有一层灰度，将三层颜色层压成两层。这意味着我们可以在最终预测中使用原始的灰度图像。 此外，我们只有两个通道做预测。 人类眼睛中有94％的细胞是确定亮度的，这是个科学事实。只有6％的受体被用作颜色的传感器。如上图所示，灰度图像比彩色层更加清晰。这也是我们最终预测中保持灰度图像的另一个原因。 从黑白到彩色 我们的最终预测是这样的。我们有一个输入灰度层，我们想预测Lab中的两个彩色层。要创建最终的彩色图像，我们将纳入用于输入的L/灰度图像，从而创建一个Lab图像。 我们使用卷积滤波器将一层转成两层。你可以将它们视为3D眼镜中的蓝/红滤镜。每个滤波器确定我们在图片中看到的内容，可以突出显示或删除某些东西，从图片中提取信息。网络可以从滤波器中创建新的图像，也可以将多个滤波器组合成一个图像。 卷积神经网络的每个滤波器都自动调整，以帮助预期的结果。我们从堆叠数百个滤镜开始，然后将它们缩小为两层，即a层和b层。 下面是FloydHub代码： 运行上述网络的FloydHub指令： Alpha版本不能很好地给未经训练的图像着色。接下来，我们将在Beta版本中做到这一点——将上面的将神经网络泛化。 以下是使用Beta版本对测试图像着色的结果。 我们没有使用ImageNet，而是在FloydHub上创建了一个高质量图像的公共数据集。图片来自Unsplash——公开的专业摄影师创意图片。这个数据集包括9.5万个训练图像和500个测试图像。 特征提取器 我们的神经网络要做的是发现将灰度图像与其彩色版本相链接的特征。 试想，你必须给黑白图像上色，但一次只能看到9个像素。你可以从左上角到右下角扫描每个图像，并尝试预测每个像素应该是什么颜色。 例如，这9个像素就是上面那张女性人脸照片上鼻孔的边缘。要很好的着色几乎是不可能的，所以你必须把它分解成好几个步骤。 首先，寻找简单的模式：对角线，所有黑色像素等。在每个滤波器的扫描方块中寻找相同的精确的模式，并删除不匹配的像素。这样，就可以从64个迷你滤波器生成64个新图像。 如果再次扫描图像，你会看到已经检测到的相同的模式。要获得对图像更高级别的理解，你可以将图像尺寸减小一半。 你仍然只有3×3个滤波器来扫描每个图像。但是，通过将新的9个像素与较低级别的滤波器相结合，可以检测更复杂的图案。一个像素组合可能形成一个半圆，一个小点或一条线。再一次地，你从图像中反复提取相同的图案。这次，你会生成128个新的过滤图像。 经过几个步骤，生成的过滤图像可能看起来像这样： 这个过程就像大多数处理视觉的神经网络，也即卷积神经网络的行为。结合几个过滤图像了解图像中的上下文。 以下为Beta版本的FloydHub代码： 运行Beta网络的FloydHub指令是： 我们的最终版本着色神经网络有四个组成部分。我们将之前的网络拆分成编码器和解码器，在这之间使用了一个融合层。 与编码器相并列的是当今最强大的一个分类器——Inception Resnet v2，经过1.2M图像训练的网络。我们提取了分类层，并将其与编码器的输出进行合并。 通过将学习从分类器转移到着色网络，网络可以了解图片中的内容。因此，使网络能够将对象表示与着色方案相匹配。 以下是一些验证图像，仅使用20张图像来训练网络。 大多数图像变得很差，但是由于大量验证/测试集（2,500张图像），我设法找到了一些看上去还不错的图像。在更多的图像上进行训练可以获得更加一致的结果，但是大部分都是棕色的。这里是我运行的实验的完整列表，包括验证图像。 运行最终版网络的 FloydHub指令： 先小批量做很多实验以后再放大。在30次实验以后，我仍然发现而来很多错误。程序能运行并不等同于能用。调试神经网络有多复杂不用我多说。 多样化的数据集让着色效果呈现棕色（brownish）。 每幅图片的大小都需要确定，比例一致。 创建数据集：禁用.DS_Store文件，这简直把我弄疯了；大胆创新，我最后用Chrome控制台脚本和扩展程序来下载文件；复制原始文档， structure清洗脚本。 从公开的项目中多看多学。为了得到一个粗略的代码，我浏览了Github上关于着色的50-100项目。 事情并不总是像预期的那样工作。一开始，我的网络只能创建红色和黄色的颜色。起初，我有一个Relu激活功能进行最终激活，因为它只将数字映射为正数，因此无法创建负值，蓝色和绿色光谱。后来我添加了一个Tanh激活函数并映射Y值修复这个问题。 多问人，给他们写邮件！ 如果你还想了解更多，这里是着色机器人Alpha版本的Jupyter Notebook（https://www.floydhub.com/emilwal ... alpha_version.ipynb）。你还可以查看FloydHub（https://www.floydhub.com/emilwallner/projects/color/43/code）和GitHub上的这三个版本（https://github.com/emilwallner/Coloring-greyscale-images-in-Keras），以及我在FloydHub的GPU云上运行的所有实验的代码（https://www.floydhub.com/emilwallner/projects/color/jobs）。 原文链接：https://blog.floydhub.com/colori ... th-neural-networks/ 【AI WORLD 2017世界人工智能大会倒计时 24 天】点击图片查看嘉宾与日程。大会门票销售火热，抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026【扫一扫或点击阅读原文抢购大会门票】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
 燕北新媒体 网页链接 2017-10-15 18:30
深度学习 视觉 应用 自然语言处理 信息检索
【找图太费时间？Shutterstock教你基于构图来搜索图片】Shutterstock 提供了一种新的搜索工具 Composition Aware Search，运用深度学习技术，将机器视觉、自然语言处理和信息检索技术相结合，在海量的图库中找到与搜索标准相匹配的结果，用户将添加关键词到画布中，然后移动到想要的位置，就可以看到对...全文： http://m.weibo.cn/1711479641/4163182022524995
燕北新媒体 网页链接 2017-10-15 17:30
视觉 应用 机器人
【用机器视觉摘草莓 还能看出熟不熟】比利时公司Octinion开发了一台小型机器人，它能穿过生长在支架托盘上的一排排草莓，利用机器视觉寻找成熟完好的果实，然后用3D打印的爪子将其摘下，遇到不成熟的草莓，它还会预估其成熟的时间，然后重新过来采摘。开始包装时，它会将草莓更红的一面放在上面，以吸...全文： http://m.weibo.cn/1711479641/4163166928094144
爱可可-爱生活 网页链接 2017-10-15 09:32
Max Halford Python 数据科学
【Python数据科学/机器学习工具箱】’xam - Python data science and machine learning toolbox' by Max Halford GitHub: https ://github .com/MaxHalford/xam
爱可可-爱生活 网页链接 2017-10-15 08:01
会议活动 视觉 ECCV 会议 教育网站
【3D街景数据集】’Street View Image, Pose, and 3D Cities Dataset", ECCV16' GitHub: https ://github .com/amir32002/3D_Street_View ref:《Generic 3D Representation via Pose Estimation and Matching》http://t.cn/ROYLDpb
爱可可-爱生活 网页链接 2017-10-15 06:43
Virginia Tech 论文
《Tracking Persons-of-Interest via Unsupervised Representation Adaptation》S Zhang, J Huang, J Lim, Y Gong, J Wang, N Ahuja, M Yang [Northwestern Polytechnical University & Virginia Tech & Hanyang University] (2017) http://t.cn/ROYzLEQ
| 
发表于 2017-10-20 15:24:01
