机器学习日报 2017-06-02 深度学习计算消耗降低95%，KDD2017哈希法研究加速神经网络进化

解应春BW

机器学习日报 2017-06-02

• 迁移学习与深度学习预训练模型应用 @爱可可-爱生活
• 面向NLP任务的标记与评价工具 @爱可可-爱生活
• 微软认知工具包2.0 @微软亚洲研究院
• 深度学习计算消耗降低95%，KDD2017哈希法研究加速神经网络进化 @wx:新智元
• Science介绍新型好奇心算法：基于强化学习摸索世界 @wx:机器之心
  

@好东西传送门 出品,由@AI100运营， 过往目录 见http://ml.memect.com

订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群

邮件版包括20条，本期的Web版有完整内容23条

用日报搜索找到以前分享的内容： http://ml.memect.com/search/

今日焦点 (5)
爱可可-爱生活   网页链接 2017-06-02 16:23
经验总结 深度学习 博客 迁移学习
【迁移学习与深度学习预训练模型应用】《Transfer learning & The art of using Pre-trained Models in Deep Learning》by Dishashree Gupta http://t.cn/RSxkGSn pdf:http://t.cn/RSxkGSR ​

爱可可-爱生活   网页链接 2017-06-02 21:46
自然语言处理 Denny Britz 代码
【面向NLP任务的标记与评价工具】’bella - Labeling and Evaluation Tool for NLP Tasks' by Denny Britz GitHub: http://t.cn/RSJ3gES ​

微软亚洲研究院   网页链接 2017-06-02 16:26
深度学习
​【微软认知工具包2.0】微软今天在开源平台正式发布了2.0版本的认知工具包（Microsoft Cognitive Toolkit），用于生产级和企业级的深度学习工作负载，包括了测试版发布以来累积的几百项新功能，简化了深度学习过程，能够与更广泛的AI生态系统实现无缝整合。 http://t.cn/RSxkjHH ​


微软亚洲研究院 网页链接 转发于2017-06-02 17:17
微软认知工具包2.0版本增加了对Keras的支持，为Keras编写的代码现在可以直接利用认知工具包所提供的性能和速度，而无需对代码本身进行任何更改；新功能还包括用于模型评估的Java语言绑定，以及对已受训模型进行压缩的新工具。



wx:新智元   网页链接 2017-06-02 16:10
深度学习 算法 神经网络
「【突破】深度学习计算消耗降低95%，KDD2017哈希法研究加速神经网络进化」“所以，1000 个神经元的网络我们能节能 95％，根据数学推导，10 亿个神经元的网络我们就能节能 99%。” http://hao.memect.cn/l0

wx:机器之心   网页链接 2017-06-02 16:08
算法 强化学习
「学界 | Science介绍新型好奇心算法：基于强化学习摸索世界」好奇心一直被一些科学家认为是智能的基本属性之一，为机器赋予好奇心自然也是计算机科学家的重要研究目标。 http://hao.memect.cn/kx

最新动态
网路冷眼   网页链接 2017-06-02 22:27
深度学习 自然语言处理 赵宁远
【自然语言处理系列之人机之间的巴别塔之谜[一]】http://t.cn/RSxNE4J本文作者竹间智能深度学习科学家赵宁远。本文从“人机交互的本质”入手，重点解析自然语言处理中的难点及潜在机会，竹间智能自然语言系列专栏文章第一篇。 ​

爱可可-爱生活   网页链接 2017-06-02 21:49
视觉 自然语言处理 Hao Github 代码
【(TensorFlow)根据文本对抗生成图像】’Generative Adversarial Text to Image Synthesis in TensorFlow and TensorLayer' by Hao GitHub: http://t.cn/RSJ1K8W ​

PaperWeekly   网页链接 2017-06-02 21:01
会议活动 算法 AAAI 会议 论文 神经网络
Topic Aware Neural Response Generation #对话系统# 推荐一篇PaperWeekly chatbot reading group最近一起读的一篇paper，也是AAAI2017的一篇paper。这篇工作通过在seq2seq的基础上添加了一个topic attention，使得decoder在生成对话时更具有topic相关性。 论文地址：http://t.cn/RasB9hz ​




网路冷眼   网页链接 2017-06-02 21:00
可视化
【引入机器学习，Google表格可以帮你自动把数据做成图表】http://t.cn/RSMF8q5 将数据做成图形，即数据可视化，可以更清晰有效地传达与沟通信息。今天，Google表格就宣布了一项非常有用的更新：引入机器学习技术，自动帮你将数据生成图表。 ​

唐福林 网页链接 转发于2017-06-02 21:25
这才是我一直想要的：从数据到信息。AI再怎么发展，下面的步骤：从信息到决策，大概还是需要人肉的吧



浙大可视分析小组   网页链接 2017-06-02 18:30
经验总结 算法 博客 简报 可视化
#浙大可视分析小组# #数据可视化# 【研究僧推荐】 马尔科夫链可视化：为状态空间中状态间转换的随机过程。下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。看看路径上如何展示马尔科夫链。(配图1) http://t.cn/RPV1AYS Cr.@慕少游mumu 【全球深度报道网新闻简报】 GIJN ​

wx:新智元   网页链接 2017-06-02 16:10
深度学习 应用 机器人 周志华
「【AI TOP 10】周志华深度森林gcForest如约开源;数学高考机器人将参加今年高考;中国目前已申请了15745个AI专利」澳洲研究者：深度学习可以预测患者的寿命；英特尔预测无人驾驶2050年带来7万亿经济影响 http://hao.memect.cn/l4

wx:新智元   网页链接 2017-06-02 16:10
自然语言处理
「【GAN X NLP】自然语言对抗生成：加拿大研究员使用GAN生成中国古诗词」为训练 GAN 生成自然语言提供了一种直接有效的方法 http://hao.memect.cn/l2

爱可可-爱生活   网页链接 2017-06-02 16:09
应用 统计 信息检索
《Sequential Line Search for Efficient Visual Design Optimization by Crowds (SIGGRAPH 2017)》Y Koyama, I Sato, D Sakamoto... [The University of Tokyo] (2017) http://koyama.xyz/project/sequential_line_search/ 《照片着色还是个难题？基于贝叶斯优化的顺序线搜索技术可轻松搞定》via:机 ​




wx:机器之心   网页链接 2017-06-02 16:08
深度学习
「学界 | 让深度学习告别密集计算，新技术可减少95%计算量」莱斯大学的计算机科学家已经改编了一种普遍使用的技术来快速检查数据从而削减计算量，因此深度学习所需的能耗和时间也有所削减。 http://hao.memect.cn/kw

视觉机器人   网页链接 2017-06-02 15:37
深度学习 视觉 算法 应用 资源 自然语言处理 代码 分类 机器人 聚类 课程 推荐系统
机器学习综述、教程和书籍的阅读清单。A curated list of Machine Learning Surveys, Tutorials and Books. machine-learning-surveys：http://t.cn/RSx3CKx 包括：主动学习、生物信息学、分类、聚类、计算机视觉、深度学习、多视图学习、自然语言处理、概率模型、推荐系统、加强学习、机器人、半监督 ​

Wenpeng_Yin   网页链接 2017-06-02 15:16
自然语言处理
弱问一个encoder-decoder里面关于decoding的问题： 通常说需要将上一步解码的output作为下一步的input来用，但这个output很多代码是用的在整个vocab上softmax后的向量，这尼码太高维了吧，为啥不是把hidden state映射到一个word embedding size的向量作为output，接下来使用呢.....也许我看的代码不够 ​


刘群MT-to-Death 网页链接 转发于2017-06-02 15:45
好问题。我的理解是：softmax后再取很重要，因为这才反映了真实输出的译文，如果输出不同的词，下一个词也应该有所不同。

何世柱_自动化所 网页链接 转发于2017-06-02 20:58
如果把隐藏层简单变换下直接作为下一层输入，那就跟多层前馈网络没什么区别了，只不过RNN的decoder 能支持可变层而已。我理解的是，decoder实际在每次隐状态变换都是有监督的（word level learning），所以需要softmax，而现在单独基于强化学习的句子级的训练还不可行，原因应该是搜索空间太大（大概是

何世柱_自动化所 网页链接 转发于2017-06-02 21:33
发现后面的文字截掉了，后面的意思是：如果直接用，就相当于是一次预测一整个句子，而不是一个词一个词的预测。



新智元   网页链接 2017-06-02 13:04
深度学习 资源 自然语言处理 Aaron Courville 书籍
【新智元导读】今日 arXiv 最火论文之一，作者包括著名的《深度学习》（Deep Learning）一书的作者 Aaron Courville。论文用 GAN 解决自然语言处理问题，“在中国诗词数据集上取得目前最好结果”。研究人员表示，他们为训练 GAN 生成自然语言提供了一种直接有效的方法。作者表示，接下来他们想探索 GAN ​




勿怪幸   网页链接 2017-06-02 08:57
视觉
This is crazy! 大脑如何识别人脸一直是个谜。caltech的科学家们破解了密码。每一个大脑皮层识别人脸的神经元负责人脸的一个特征。惊人的是他们逆推人脸，通过分析大脑皮层细胞的信号，根据掌握的信息，用电脑合成推测人脸。结果与真脸惊人的一致。左侧是真脸。右侧是逆推合成的。这以后可以分析大脑就 ​

勿怪幸 网页链接 转发于2017-06-02 09:50
要知道，他们逆推人脸使用的是猴子的大脑皮层信号。做不了假。刚回家路上收音机也在说，Dr Tsao说他的学生最初逆推出来的脸吓他一跳，以为是学生造假了，跟真脸完全吻合。

tinyfool 网页链接 转发于2017-06-02 09:52
找了只没有脸盲症的猴子，用我们脸盲症患者来做实验的话，结果会很悲惨的/@勿怪幸: 要知道，他们逆推人脸使用的是猴子的大脑皮层信号。做不了假。刚回家路上收音机也在说，Dr Tsao说他的学生最初逆推出来的脸吓他一跳，以为是学生造假了，跟真脸完全吻合。



the2   网页链接 2017-06-02 00:32
会议活动 深度学习 算法 IJCAI 分类 会议 神经网络
#IJCAI2017#录取论文659篇，录取率约：659/2500+ ≈ 26.4%. http://t.cn/Racfyc7 1. 标题含词1792个，高频词：learning:127；networks:50；deep:45；neural:42；network:35；model:29；data:27；approach:26；knowledge:24；classification:22。 2. 含作者1936名（全词匹配，未消歧），高产：Feipin ​

unluckyAllen 网页链接 转发于2017-06-02 10:43
我和高盛华老师也贡献了一篇Locality Constrained Deep Supervised Hashing for Image Retrieval，避免quantization error对网络本身造成太大的影响[二哈]请大家轻拍



the2   网页链接 2017-06-02 00:01
会议活动 深度学习 Hui Xiong KDD 会议 数据科学
#KDD2017# 共计录取217篇：研究Track录取论文131篇，录取率131/748 = 17.5%；应用数据科学Track录取论文86篇. http://t.cn/RSvrAHC 1. 标题含词897个，高频词：learning:34；data:18；networks:18；detection:15；deep:11。 2. 含作者841名（全词匹配），高产：Hui Xiong:8；Charu Aggarwal:6；Jiawe ​