AI100_机器学习日报 2017-11-06 深度增强学习的最新进展、前言与展望
AI100_机器学习日报 2017-11-06[*]深度增强学习的最新进展、前言与展望 @爱可可-爱生活
[*]ICCV 13个不可错过的有趣项目 @wx:
[*]Pointer Networks在自然语言处理领域中的应用 @哈工大SCIR
[*]自动机器学习工具列表 @爱可可-爱生活
[*]清华大学开源OpenKE知识表示学习平台 @机器之心Synced
@好东西传送门 出品,由@AI100运营， 过往目录 见http://ai100.com.cn
订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群http://memect-public.oss-cn-hangzhou.aliyuncs.com/images/AI100_logo.png
邮件版包括20条，本期的Web版有完整内容22条
用日报搜索找到以前分享的内容： http://ml.memect.com/search/今日焦点 (5)
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-11-06 08:55
深度学习 资源 Sergey Levine Volodymyr Mnih 视频
【深度增强学习的最新进展、前言与展望】《Recent Advances, Frontiers and Future of Deep RL - YouTube》by Volodymyr Mnih, Sergey Levine Part1:http://t.cn/Rl63gsK Part2:http://t.cn/Rl63gs9
http://wx2.sinaimg.cn/large/5396ee05ly1fl82xh2694j21b40psh3j.jpg
wx: 网页链接 2017-11-06 21:05
公告板 会议活动 深度学习 视觉 算法 资源 Chris Rowen Devin Coldewey ICCV 行业动态 华先胜 会议 活动 贾佳亚 神经网络 书籍 孙剑 智能汽车
「【ICCV 13大不可错过的有趣项目】实时任意风格迁移、手机照片背景模糊……」 【AI WORLD 2017世界人工智能大会倒计时 2 天】在2017年11月8日在北京国家会议中心举办的AI World 2017世界人工智能大会上，我们邀请到阿里巴巴副总裁、iDST副院长华先胜，旷视科技Face++首席科学家、旷视研究院院长孙剑博士，腾讯优图实验室杰出科学家贾佳亚教授，以及硅谷知名企业家、IEEE Fellow Chris Rowen，共论人脸识别等前沿计算机视觉技术。抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026大会官网：http://www.aiworld2017.com新智元编译来源：techcrunch作者：Devin Coldewey编译：马文【新智元导读】计算机视觉领域顶会之一的 ICCV 结束不久，图像质量提升、从头创建图像、风格迁移、图像描述等方面都出现许多新颖、创造性的工作。本文梳理了ICCV上13个最令人印象深刻的项目，一起来看。 打开新智元微信公众号，直接回复【ICCV 2017】下载全部论文 不要让手机的传感器和镜头小这个劣势妨碍了伟大的摄影作品。ICCV的这篇论文研究了在几个不同平台上拍摄的相同场景的照片，并对它们之间的差异进行建模。研究者提出一种算法，不仅能改变低质量照片的尺寸，还能在更深层次上进行转换，智能地精细调整照片的细节和颜色。它没有创造出不存在的东西，但它可以有助于提升照片质量，而不仅是调整曲线和对比度。 论文：DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks 用智能手机拍摄人像时添加人造的背景模糊很流行，但这不像使用魔棒工具抠出人像，然后模糊掉其余部分那样简单。头发或衣服的复杂性以及场景的视觉复杂性使算法不容易决定哪些像素是人的部分，哪些不是。来自腾讯和香港中文大学的研究者的这项工作将两种基本的计算机视觉工具结合在一起，形成一个更强大的工具。 一方面，这个系统使用简单的光流（optical flow）来表示图像中明显的边界，另一个物体识别系统将图像分割成明显的部分。通过将这两种分析的数据结合起来，系统可以减少识别错误，创建更精确的图像地图。这样，添加背景模糊就很方便了！ 论文：High-Quality Correspondence and Segmentation Estimation for Dual-Lens Smart-Phone Portraits 想象一下，有一栋倒过来的房子，是用肉类做成的，还有人往上面倒芥末。这不是很愉快的形象，但你在脑海里想象这个场景没有任何困难，对吧？让计算机做同样的事情需要很强大的工具，也是一个有趣的挑战。 这类研究实际上以前做过，但结果并不好。在这个研究中，研究人员首先让计算机基于对单词和图像的认识，初步尝试创造图像。然后用另一种算法对结果进行评估，并提出改进的建议，让计算机细化图像。这有点像你针对脑海中的想法画了一个粗略的草图，然后看着草图继续修改。这个研究得到的照片仍然很粗糙，但重要的是，他们可以被辨认出来。 论文：StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks 这个研究跟上一个相似，但不完全一样。想象一下，你想创造一个场景，把人物放在这儿，树木种在那儿，群山放到那边。你把这些信息输入给一个AI系统，它会搜索他的图像数据库，找到适合你需要的形状和大小的图像片段，然后将这些片段组合在一起。 由此产生的图像质量非常高——就像建筑模型一样，人和长凳等都被放在模型里面，显然它不是真实的，但是看起来很合理。你就可以用它模拟一个家庭，一个街景，或一个公园，就像用MSPaint画草图一样简单。 论文：Photographic Image Synthesis with Cascaded Refinement Networks 对于训练自动驾驶系统来说，一个最困难的部分是给系统充分标记好的录像，例如：这是一辆停着的车，这是一个电缆塔，等等。如果能够可靠地完成这些，你可以在几秒内快速注释几小时的视频，给自动驾驶的视觉系统提供大量额外信息。这就是该研究的目标，它提出一种新的方法，将深度感知（depth perception）结合进来，使识别对象更容易。它给视觉系统带来一些常识，告诉系统在这种情况下，不能将卡车和附近的一辆相同颜色，相同运动方向的电车混为一谈，他们是两个完全不同的对象。研究结果是实现了更可靠地标记图像中的对象和区域。 论文：FoveaNet: Perspective-aware Urban Scene Parsing 你可能已经认识风格迁移神经网络，它能使你的视频看起来像衣服印象派油画，或其他看起来永远需要人工创作的东西。风格迁移很酷，但通常仅限于预训练的一组外观，而且需要时间让系统表现良好。 这个研究描述了一种新的风格迁移网络，它不仅可以实时地工作，而且可以将任何场景或图像作为输入，并立即应用。不喜欢梵高《星夜》（Starry Night）的风格？还有蒙克《呐喊》（The Scream）的版本，看看这是不是你喜欢的风格。期待做成一款app。 论文：Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization 让计算机描述视频中发生的事件是非常困难的，因为场景往往比“小孩子在房间里走动”这样的单个句子要复杂得多。这可能是最主要的事件，但那只会在中途吠叫的狗呢？ 还有最后家长们的欢呼呢？ 视频通常包含许多事件，相关的和不相关的，任何观众可以很容易地描述所有事件。 那么为什么机器学习系统不可以呢？ 这就是这篇论文描述的：一个可以描述时间上重叠的事件的系统，或者可以将不同长度和起始点的时间联系起来。你可以想象一下，如果要在YouTube上找到一个指定长度的视频片段，这样的系统是多么有用——你可以直接跳到视频中“大猩猩出现的部分”。 论文：Dense-Captioning Events in Videos 请观察左边的图像。下面的两种文字说明，哪个更好，更像人的描述？“一只牛站在房子前面”和“一只灰色的牛在房子前面一片绿色的草地上散步”。可能是后者更好。但是，计算机对描述听起来像人的描述的东西没有任何直觉的理解——除非它们被教导使自己的描述类似人类的自然描述。 在这个研究中，一个神经网络被用来创造关于场景的描述，另一个网络则将这个描述与人类创造的描述进行对比，并给与人类的话语风格更相像的描述更高的得分。这可以使计算机对图像和视频的描述更自然——不是“小孩走向一辆车”，更多描述成“一个小女孩走向一辆米色的小货车。” 论文：Towards Diverse and Natural Image Descriptions via a Conditional GAN 机器学习系统有一个弱点时根本性的，就是它们对于行为和对象的“词汇量”通常非常有限。它可能理解“人骑马”，而不是骑“狗”。因此，如果有人骑着什么东西，这个东西肯定不是“狗”——或者，如果一个人在狗上方，那人肯定不是在“骑”它。但是对象和行为的不寻常的组合总是经常发生——事实上，这些组合常常是最值得记录的！ 在这个研究中，系统被训练来基于空间线索（ spatial cues）来识别物体和它们之间的关系，无论是什么类型的物体。虽然这个系统可能从来没有见过一只“猪”在“煎煎饼”，但当它看到这样的场景，它能够正确描述——因为它有基本的概念，知道猪是什么样子的，煎饼是什么样子的，煎炸的动作时怎样的，然后将这些组合在一起。 论文：Weakly-supervised learning of visual relations 人们在提出有关图像或情景的问题时，并不总是使用很精确的语言。例如，他们不会说：“蓝色的车后面有人吗?”，而是问，“有人在车后面吗?”。除非系统知道“有人”（anyone）是指什么，以及你指的是哪辆车，否则它可能会宕机。在这个研究中，研究人员提出一种机器学习系统的方法，它可以让系统在运行中对你的意思做出最接近的猜测，并试图找到答案。 问题的关键在于找出需要解决哪些问题（其中有多少问题，如何描述这个问题），以及这些问题有怎样的关联——对于计算机来说，这是相当困难的。不过，这篇论文建立了一个相当有效的系统。 论文：Inferring and Executing Programs for Visual Reasoning 对于人类来说，有时你能分辨出角落里不能直接看到的东西，例如，你知道电视机在角落里，因为你能看到它的光反射在闪亮的地板上。如果你仔细观察，你或许还能从这些光的细微变化找到更多关于这个场景的信息。这个研究提出的就是这样一个系统。 通过仔细观察从角落可以看到的不同角度的光线（但不需要绕过去看），这个系统将颜色、空间关系等基本特征显示成一个“1-D视频”。虽然不能“看到”很多信息，但只要研究附近的地面就能看到角落里的任何东西，这是相当令人印象深刻的。 论文：Turning Corners into Cameras: Principles and Methods 了解参加一项活动的人数有多少，对于规划人员和场馆管理人员至关重要，但是除非你仔细追踪每个进场和离场的人，否则很容易搞混计数。 人们可以计算出约略的数字，比如一个房间里的人数可以说“大约250人”，但是消防调查人员往往需要确切的数字。这个系统旨在快速准确地统计照片中的人数，并且与其他方法相比取得更好的结果。 论文：Generating High-Quality Crowd Density Maps using Contextual Pyramid CNNs 只需要利用航空影像，自动得出道路的走向，这是人们多年来一直在研究的工作——但是很难。现在，机器学习系统可以对图像进行分析，并能够很好地理解他们没有实际上看到的部分。这个系统利用多伦多大部分地区的数据进行训练，然后在该市其他区域进行应用。结果非常好。 上图中绿色的线是系统标记正确的敌方，红色是标记错误，蓝色是没有标记作道路的地方。这个系统虽然不完美，线条有一点扭曲，但是作为一个完全自动化的系统的第一次作业，这个结果并不差。人类工作者或其他系统可以进行下一步的处理。 论文：DeepRoadMapper: Extracting Road Topology from Aerial Images 11月8日新智元AI World 2017世界人工智能大会，阿里巴巴副总裁、iDST副院长华先胜，旷视科技Face++首席科学家、旷视研究院院长孙剑，腾讯优图实验室杰出科学家贾佳亚等多位计算机视觉技术领袖，将共论视觉前沿。 深入了解AI 技术进展和产业情况，参加新智元世界人工智能大会，马上抢票！ 【AI WORLD 2017世界人工智能大会倒计时 2 天】点击图片查看嘉宾与日程。抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026AI WORLD 2017 世界人工智能大会购票二维码：via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652007345&idx=5&sn=38120f868181dfcdde72ead12be9c15e&scene=0#wechat_redirect
http://47.93.113.146:6656/api/v1/image?url=http://mmbiz.qpic.cn/mmbiz_jpg/UicQ7HgWiaUb3ia3Eyic8lLDbGYa4UmAr18Z5pvfO5rufQfia3PyWaOdp0jw2lRmeYTJGJPiatzufd0jKuqN2hC6Ov5A/0?wx_fmt=jpeg
http://tva1.sinaimg.cn/crop.0.0.180.180.50/6c78202bjw1e8qgp5bmzyj2050050aa8.jpg 哈工大SCIR 网页链接 2017-11-06 17:27
自然语言处理
《赛尔原创 | Pointer Networks在自然语言处理领域中的应用》作者：哈工大SCIR硕士生冷海涛。链接：http://t.cn/RlSOK38
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-11-06 13:05
【自动机器学习工具列表(via TPOT)】“Other Automated Machine Learning (AutoML) tools and related projects” http://t.cn/RlaGK5u
http://wx1.sinaimg.cn/large/5396ee05ly1fl8a7a1rzhj214c0zethb.jpg
http://tvax4.sinaimg.cn/crop.21.40.420.420.50/ee3b7d6cly8fdpy29sfxyj20ct0ctdfu.jpg 机器之心Synced 网页链接 2017-11-06 12:12
算法 知识工程 自然语言处理 知识库
【清华大学开源OpenKE：知识表示学习平台】清华大学自然语言处理实验室近日发布了 OpenKE 平台，整合了 TransE、TransH、TransR、TransD、RESCAL、DistMult、HolE、ComplEx 等算法的统一接口高效实现，以及面向 WikiData 和 Freebase 预训练知识表示模型。http://t.cn/RlXseIU
最新动态
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-11-06 17:05
经验总结 语音 博客
【机器学习揭秘之语音识别】《Demystifying ML: How machine learning is used for speech recognition | Google Cloud Platform Blog》by Saptarshi Mukherjee, Prashant Dhingra http://t.cn/RlSoI6j
http://wx3.sinaimg.cn/large/5396ee05ly1fl8h4qlhabj210o1g07bw.jpg
http://tvax4.sinaimg.cn/crop.24.22.250.250.50/739a6626ly1fjvo5tgo2fj208c08ct8j.jpg 阿里云云栖社区 网页链接 2017-11-06 16:41
数据库
2017杭州#云栖大会#400+份重磅资料现开放下载！ 多位全球顶级学术专家、以及MySQL & MariaDB创始人、PostgreSQL联合创始人、Redis创始人等大咖都有精彩分享！ 140多场技术主题论坛，内容涵盖人工智能、量子计算、VR等20多个前沿科技领域！ 重磅资料一键get√ http://t.cn/RlSIi90
http://wx3.sinaimg.cn/large/739a6626ly1fl8gg4523bj20sc4i0hdt.jpg
wx:让创新获得认可 网页链接 2017-11-06 16:22
深度学习 视觉 算法 GPU Kaggle 李沐 神经网络
「回顾 | 跟李沐一起动手学深度学习第七课：物体检测」 本文为11月4日（周六）上午，将门联合亚马逊AI主任科学家李沐博士：从零开始入门深度学习第七课的内容回顾。这次开始我们进入到计算机视觉里的一个重要课题——物体检测，从使用卷积神经网络的开山做R-CNN讲起，一直到最近的算法。获取完整回顾视频>>关注“将门创投”(thejiangmen)微信公众号，回复“第七课”获取下载链接。你可能还会想看：李沐：来一起动手学深度学习吧回顾 | 跟李沐一起动手学深度学习第一课：从上手到多类分类回顾 | 跟李沐一起动手学深度学习第二课：过拟合、多层感知机、GPU和卷积神经网络 回顾 | 跟李沐一起动手学深度学习第三课：深度卷积网络，如何使用Gluon，以及核武器购买指南回顾 | 跟李沐一起动手学深度学习第四课：BatchNorm，更深的卷积神经网络，Hybridize和新的Kaggle练习回顾 | 跟李沐一起动手学深度学习第五课：Gluon高级和优化算法基础回顾 | 跟李沐一起动手学深度学习第六课：优化算法高级和计算机视觉 ……获取完整视频回顾>>关注“将门创投”(thejiangmen)微信公众号，回复“第七课”获取下载链接。-END- 将门创投让创新获得认可！微信：thejiangmenservice@thejiangmen.com via: http://mp.weixin.qq.com/s?__biz=MzAxMzc2NDAxOQ==&mid=2650364563&idx=2&sn=0b34756b2cf0377a09a9983e3579a496&scene=0#wechat_redirect
http://47.93.113.146:6656/api/v1/image?url=http://mmbiz.qpic.cn/mmbiz_jpg/ibaXaPIy7jV19q6VRRt8GPibJxIvgABFsvmaofLrvRSzdsoibic42ZKWMkpwmgwbbgnRhJ49ZcpQ0m5hxVwfS0kh2Q/0?wx_fmt=jpeg
http://tva2.sinaimg.cn/crop.0.0.1497.1497.50/4caedc7agw1e6isc8p2y2j215o15oq5a.jpg 微软亚洲研究院 网页链接 2017-11-06 16:17
公告板 视觉 语音 自然语言处理 招聘
【实习生招募令】微软亚洲研究院“明日之星”实习生项目开放多个实习生职位：公共关系组、学术合作部、创新工程组、创新孵化组、语音组、技术战略组、大数据挖据组、创新工程组、视觉计算组、自然语言计算组、网络多媒体组、社会计算组、机器学习组、软件分析组、语音组。欢迎不同专业背景的同学把简历...全文： http://m.weibo.cn/1286528122/4171121077233590
http://wx4.sinaimg.cn/large/4caedc7agy1fl8fqwj2pnj20cs0e0gnx.jpg
http://tvax3.sinaimg.cn/crop.14.0.721.721.50/9fa07827ly8fe7j2cq9a0j20ku0k1jrr.jpg PaperWeekly 网页链接 2017-11-06 15:35
深度学习 算法 自然语言处理 强化学习 统计
【9篇最新NLP、CV、机器学习论文推荐】 本期论文推荐关键词：#Learning Theory# #Neural Machine Translation# #Linguistic Structure# #GAN# #Person Re-identification# #Semantic Segmentation# #Deep Reinforcement Learning# #Bayesian Inference# 查看完整论文：http://t.cn/RlSPUHi
http://tva3.sinaimg.cn/crop.0.0.180.180.50/7ebeb44bjw1e8qgp5bmzyj2050050aa8.jpg 唐杰THU 网页链接 2017-11-06 14:04
算法 矩阵
实验室一篇很有意思的文章， Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec. 用矩阵分解把当前流行的几种网络表示学习方法从理论上统一结合在一起，并结合矩阵分析提出一个新方法NetMF，有效提高的效率。相关数据、论文、代码随后发放
http://wx2.sinaimg.cn/large/7ebeb44bly1fl8btkh94ij20um0pyqaf.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-11-06 12:57
算法 应用 预测
【数据缺失线性模型样本外预测】《Out-of-sample prediction for linear model with missing data》by Junpeng Lao http://junpenglao.xyz/Blogs/posts/2017-10-23-OOS_missing.html?mlreview
http://wx4.sinaimg.cn/large/5396ee05ly1fl89y58jcvj213h0jhtah.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-11-06 12:28
深度学习 代码
【Chainer实现的全卷积实例感知语义分割(FCIS)】’chainer-fcis - FCIS - Fully Convolutional Instance-aware Semantic Segmentation' by Shingo Kitagawa GitHub: https://github.com/knorth55/chainer-fcis ref:《Fully Convolutional Instance-aware Semantic Segmentation》(2016) ...全文： http://m.weibo.cn/1402400261/4171063473121349
http://wx1.sinaimg.cn/large/5396ee05ly1fl893l4vp0j20ds096ti6.jpg
http://tvax4.sinaimg.cn/crop.21.40.420.420.50/ee3b7d6cly8fdpy29sfxyj20ct0ctdfu.jpg 机器之心Synced 网页链接 2017-11-06 11:56
入门 算法 神经网络
【入门 | 了解神经网络，你需要知道的名词都在这里】近日，Mate Labs 联合创始人兼 CTO 在 Medium 上撰文《Everything you need to know about Neural Networks》，从神经元到 Epoch，扼要介绍了神经网络的主要核心术语。http://t.cn/RlXgpGP
http://tva4.sinaimg.cn/crop.0.0.180.180.50/c8da63fcjw1e8qgp5bmzyj2050050aa8.jpg 课程图谱 网页链接 2017-11-06 11:52
应用 资源 课程 推荐系统
Coursera 上明尼苏达大学的推荐系统专项课程（Recommender Systems Specialization）今日开课http://t.cn/RlXdb1A ，这个系列由5门子课程组成，目标是：Master Recommender Systems - Learn to design, build, and evaluate recommender systems for commerce and content. 该系列源自Coursera上早期...全文： http://m.weibo.cn/3369755644/4171054383198059
http://tvax4.sinaimg.cn/crop.21.40.420.420.50/ee3b7d6cly8fdpy29sfxyj20ct0ctdfu.jpg 机器之心Synced 网页链接 2017-11-06 11:31
深度学习 算法 Python
【Uber与斯坦福大学开源深度概率编程语言Pyro：基于PyTorch】近日，Uber AI Lab 与斯坦福大学的研究团队开源了全新概率编程语言 Pyro。该语言基于 Python 与 PyTorch 之上，专注于变分推理，同时支持可组合推理算法。http://t.cn/RlXnG4D
wx:Non 网页链接 2017-11-06 10:12
会议活动 深度学习 视觉 算法 ICCV 高文 会议 简报 李泽凡 论文 神经网络 王蓁 张文军
「干货 | 上海交大CS系博士生李泽凡：利用高阶残差量化（HORQ）方法进行网络加速」AI科技评论按，神经网络的压缩和加速现在已经成为一个热门课题，这个领域有多种研究方法，网络量化就是其中之一。网络量化分为输入量化和权值量化两种。而同时将输入和权值量化会造成网络精度的大幅下降。在Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高阶残差量化网络加速方法)一文中，作者针对这个问题，提出了高阶残差量化（HORQ）的方法，既能够利用网络量化带来的大幅计算加速，又能够保证网络的精度不会大幅下降。在近期雷锋网 AI研习社的线上分享会上，该论文第一作者李泽凡为我们详细解读了HORQ方法及相关推导过程 。李泽凡，上海交大 CS 系二年级博士生，师从高文院士和张文军教授。 研究方向为神经网络理论、网络加速和压缩。分享内容： 大家好，今天我将为大家带来我们在ICCV 2017上发表的文章——Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高阶残差量化网络加速方法)。这篇文章的研究领域是网络加速和网络压缩。主要的网络加速和网络压缩方法可以分为如下三种类型，第一种是网络剪枝，第二种是低阶分解和低阶近似，第三种是网络量化和二值化。这篇文章的关注点在网络的二值化方法上。 什么是网络的二值化/量化？这里以CNN的一个卷积层为例。卷积层的二值化有两个优点，第一个优点是可以实现模型大小的压缩。第二点是能加速计算。 接下来介绍这篇文章的motivation，之前的XNOR网络虽然能实现58倍的加速，但网络精度出现大幅下降。我们希望既能利用二值化带来的便利，也避免网络精度的大幅度下降。 说到这篇文章的方法之前，我们再来看看如何进行网络二值化。由浅入深，先来谈谈如何进行向量二值化。向量二值化的目标如下：求解如下最小二乘估计：相当于求解如下问题，可以转化为如何最大化X转置乘以H的问题。求解完H之后再来求解β，求解过程如下：由此得到前面图中该最优化问题的解析解形式如下：下面举个例子，如何运用向量二值化来二值化向量的內积。如下是四维向量相乘的例子： 求解X和W內积的式子如下所示：估算值为1.27875，与实际值0.76相比有很大误差。这也表示，用这样的方法进行向量二值化会带来很大误差，信息损失巨大。 由此，我们的工作提出高阶残差量化，利用泰勒展开的方法，具体如下：如图左所示是原来二值化方法的信息损失，我们定义量化残差的概念来描述信息损失：由此可以上升到二阶残差量化估计：下面是从三维空间来看：以此类推，我们可以定义K维残差估计：接下来利用HORQ（高阶残差）方法来逼近我们刚才XW=0.76的例子：下面求得X的二阶量化值，对W不用进行二阶二值估计，因为在之前网络中对权值进行二阶二值估计对网络的影响不是很大，我们只讨论对输入进行高阶残差估计方法。XW的值如下：最后的结果如下：同理作出三阶二值估计： 三阶量化的结果如下，在0.81左右。同理可以做四阶二值估计，有一个很有意思的结论，对于n维向量X，它最多只有n阶二值估计。把这些残差估计做一个汇总，如下：这是一些HORQ框架下理论上比较有趣的结果。结论一：二值的残差一定是跟相应阶数下的二值向量垂直。 推导过程如下，另外还有一些小结论：下面这张图中可以应用上面推导出来的定理。结论二：随着i的增加信息损失是逐渐减少的。第三个结论如下图：接下来讲一下如何将HORQ的方法应用到矩阵乘法中。实际上矩阵乘法可以看成一个行向量和一个列向量的乘积。话说回来，如何利用HORQ的方法计算卷积层呢？这里涉及到tensor reshape过程，具体的过程如下：下面是原始的卷积网络以及对权值和输入二值化来进行卷积操作，这样带来的信息损失巨大。HORQ提出了下面这样一个框架模型。下面是一些实验结果，可以看到在一些小数据集上都有不错的表现，基本上可以降低一半的误差。图中也给出了不同阶数的加速比。下面是加速比的一些理论分析，加速比与三个因素有关，公式如下：可以看到参数之间的相关关系：接下来是一些问题。实际上HORQ网络模型依赖于二值化矩阵乘法的计算，需要一些比较合适的框架，二值模型的存储和载入与浮点数的存储和载入不一样。论文地址：https://arxiv.org/abs/1708.08687本次分享的视频如下： AI科级评论编辑整理。—————给爱学习的你的福利—————随着大众互联网理财观念的逐步普及，理财规模随之扩大，应运而生的智能投顾，成本低、风险分散、无情绪化，越来越多的中产阶层、大众富裕阶层已然在慢慢接受。王蓁博士将以真实项目带你走上智能投顾之路，详情请识别下图二维码或点击文末阅读原文～———————————————————— via: http://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247488002&idx=4&sn=6f48966b5326c8cf2a41b59c95c54c84&scene=0#wechat_redirect
http://47.93.113.146:6656/api/v1/image?url=http://mmbiz.qpic.cn/mmbiz_jpg/vJe7ErxcLmgruXRdNoJYhn9oLdicMCGRKLpIuD0md84240LTuLwicsefMqFnxpDeZH4xLicHUHnGiavAzRSuCaeT3g/0?wx_fmt=jpeg
http://tva4.sinaimg.cn/crop.0.0.180.180.50/a92ee97ajw1e8qgp5bmzyj2050050aa8.jpg 东北大学自然语言处理实验室 网页链接 2017-11-06 10:04
自然语言处理 机器翻译
目前机器翻译研究主要集中在研究更加强大的学习方法和模型构建更加强大的机器翻译系统，也有一些研究如何利用更少的双语训练数据甚至不用双语数据来完成机器翻译构建等等。其实用户非常关心发现机器翻译错误的时候如何快速纠正错误和优化性能，目前也有一些研究工作专注于根据翻译错误自动构建一些训练...全文： http://m.weibo.cn/2838423930/4171027410539380
http://tva2.sinaimg.cn/crop.0.0.180.180.50/66031b59jw1e8qgp5bmzyj2050050aa8.jpg 燕北新媒体 网页链接 2017-11-06 09:30
算法
【德团队开发出 AI 算法，能让低分辨率照片清晰化】德国马克斯普朗克（MPI）研究机构开发的软件，透过人工智能（AI）和机器学习技术的运用，让系统学会如何采像图片，并从经验中学习逐渐改善结果，进而为图片提供逼真的纹理。研究人员解释，EnhanceNet-PAT 的学习过程其实与人类非常相似。经过长期训练...全文： http://m.weibo.cn/1711479641/4171018651948893
http://wx1.sinaimg.cn/large/66031b59ly1fl7ln53be9j20l30bqjsa.jpg
http://tva2.sinaimg.cn/crop.236.115.350.350.50/82c654dfjw8f0gg3bp8uij20ne0gjt92.jpg 蚁工厂 网页链接 2017-11-06 08:46
经验总结 应用 博客 推荐系统
#技术博客推荐# 基于机器学习的音乐推荐，翻译自英文文章：Spotify’s Discover Weekly: How machine learning finds your new music，由lsvih在掘金翻译计划翻译。 介绍了Spotify’s使用机器学习三种模型来推荐音乐的方法： ----协同过滤模型（就是 Last.fm 最开始使用的模型），通过分析你的行为与他...全文： http://m.weibo.cn/2194035935/4171007701323470
http://wx2.sinaimg.cn/large/82c654dfly1fl82oudatgj20m80d2grp.jpg
页:
[1]