机器学习日报 2015-10-11 机器学习五大思想流派；基于张量分解的隐变量模型参数估计方法
机器学习日报 2015-10-11[*]Learning both Weights and Connections for Efficient Neural Networks @金连文
[*]为什么说普通工程师也要懂得机器学习 @范凯robbin
[*]Netflix的音视频测试框架 @InfoQ
[*]机器学习五大思想流派 @爱可可-爱生活
[*]基于张量分解的隐变量模型参数估计方法 @谢澎涛CMU
@好东西传送门 出品, 过往目录 见http://ml.memect.com
订阅：给 hao@memect.com 发封空信， 标题: 订阅机器学习日报 或点击点我订阅
本期话题有：全部22 资源12 算法7 深度学习5 视觉4 应用2 会议活动2 自然语言处理1
用日报搜索找到以前分享的内容： http://ml.memect.com/search/今日焦点 (5)
http://tp2.sinaimg.cn/1548358505/50/1288833405/1 金连文 网页版 2015-10-11 09:54
深度学习 视觉 算法 论文 神经网络
“Learning both Weights and Connections for Efficient Neural Networks” http://t.cn/RytyALq来自斯坦福大学及NVIDIA的工作，很实在很实用。采用裁剪网络连接及重训练方法，可大幅度减少CNN模型参数。针对AlexNet、VGG等模型及ImageNet数据，不损失识别精度情况下，模型参数可大幅度减少9-13倍。
http://ww2.sinaimg.cn/large/5c4a1369gw1ewwyka4oqmj20ga0bsdgx.jpg
老师木 网页版 转发于2015-10-11 10:14回复 @刘成林_NLPR “转发微博”
有个更激进的想法：现在是在CNN规定的结构上去修剪，还不够本质，更本质的是CNN本身的结构都是学习出来的。
eyounx_俞扬 网页版 转发于2015-10-11 12:16回复 @Wilson_NJUer “俞老师曾有个想法是用演化学习技…”
学习网络结构在90年代有很多有趣的工作 http://t.cn/RyElTtX 甚至还有学习“学习方法”的。既然都快30年过去了，与“试试看”相比，个人觉得更重要的是回答“为什么”。
createamind 网页版 转发于2015-10-11 12:21
这个类似婴儿出生后神经连接疯长，日后根据连接活跃性适当保存，因此思维更加固化高效，但学新内容难度加大；如果cnn结构可以学习出来，如果网络结构可以自动扩张，需要有一个元规则，何时添加哪种类别多大的子网络到新网络中。如果能如此自动扩张网络结构和功能，离真智能就不远了。
长翅膀的羊_nash 网页版 转发于2015-10-11 12:43回复 @eyounx_俞扬 “学习网络结构在90年代有很多有趣…”
@老师木: 赞同，why 最根本。不管怎么做都是极大空间搜索，指引搜索的准则才根本。如diversity,但还是不根本，还只停留在现象层次
summerrlee 网页版 转发于2015-10-11 12:50
前天看一篇neuroscience的文章，讲log rule广泛存在于人脑之中。10-20% 的大脑是“固化高效”的，用于快速做出60-80%准确的判断。剩余的活跃度非常低，但却会在需要更高准度时被激活。“自动”扩张也许就是 task-driven，这些潜在可能被扩张的neuron非常庞大，结构也很难观察到规则，对AI的确很难。
http://tp2.sinaimg.cn/1654762921/50/40043368628/1 范凯robbin 网页版 2015-10-11 18:04
代码
为什么说普通工程师也要懂得机器学习 http://t.cn/RynMc6s 此文甚好，做了机器学习的科普。
http://tp1.sinaimg.cn/1746173800/50/40027977331/1 InfoQ 网页版 2015-10-11 10:30
视觉
【Electric Eye：Netflix的音视频测试框架】近日，Netflix推出了一个自动化的计算机视觉和音频测试框架——电眼（Electric Eye），以辅助在所有设备上进行音视频同步和字幕同步的测试。本文对Netflix创建电眼的详细过程进行了介绍。 http://t.cn/RyQrLpw
http://ww3.sinaimg.cn/large/68147f68jw1ewwdjxbsxlj20dw0a1q4v.jpg
http://tp2.sinaimg.cn/1402400261/50/5713579194/1 爱可可-爱生活 网页版 2015-10-11 06:55
资源 Pedro Domingos 视频
【视频:(Pedro Domingos)机器学习五大思想流派】《The Five Tribes of Machine Learning, and What You Can Take from Each》by Pedro Domingos, University of Washington (SmartData2015) http://t.cn/RyEJYI1 云:http://t.cn/RyEJYI3
http://tp2.sinaimg.cn/1822644165/50/5721134806/1 谢澎涛CMU 网页版 2015-10-11 04:29
最近在系统地看基于张量分解的隐变量模型参数估计方法（Tensor decompositions for learning latent variable models），写了一篇文章，介绍这类方法的基本原理。链接http://t.cn/RyEfWjn 可能会有理解错误的地方，请指正
hbyido 网页版 转发于2015-10-11 08:11
【张量分解】【隐变量模型】http://t.cn/RyEavRM
老师木 网页版 转发于2015-10-11 08:24
学习。觉得再补充两点就更好了：1，突出高阶统计量，譬如三阶矩，反应了某些模型本身的非高斯性，这一点是是LDA/ICA/sparsecoding等本质区别于SVD的地方，这也是某些计算神经科学家对神经元行为建模时非常强调的特点。2，能否获得全局最优解是有条件的，譬如可分离性，或者用信号处理术语叫可辨识性。
Noodles-Xu 网页版 转发于2015-10-11 12:18
觉得再补充两点就更好了：1，突出高阶统计量，譬如三阶矩，反应了某些模型本身的非高斯性，这一点是是LDA/ICA/sparsecoding等本质区别于SVD的地方，这也是某些计算神经科学家对神经元行为建模时非常强调的特点。2，能否获得全局最优解是有条件的，譬如可分离性，或者用信号处理术语叫可辨识性。
最新动态
2015-10-11 (12)
http://tp4.sinaimg.cn/1910166511/50/5677508290/1 小徐老徐ZJU 网页版 2015-10-11 19:22
资源 PDF 教育网站 课程 统计
Dirichlet Processes的Bayesian推断 Bayesian Inference for Dirichlet-Multinomials and Dirichlet Processes http://t.cn/RynakOZ
http://tp2.sinaimg.cn/1402400261/50/5713579194/1 爱可可-爱生活 网页版 2015-10-11 17:17
会议活动 应用 资源 KDD PDF Xavier Amatriain 幻灯片 会议 课程 推荐系统
【幻灯:(KDD 2014 Tutorial)重新考虑推荐问题】《The Recommender Problem Revisited》”Beyond Traditional Methods” by Xavier Amatriain http://t.cn/RPrBdfb “Context Aware Recommendation” by Bamshad Mobasher http://t.cn/RPrBdfU 合并版:http://t.cn/RynV5Pj
http://ww1.sinaimg.cn/large/5396ee05gw1ewxbcl1anfj20hq0dbjsg.jpg
http://tp4.sinaimg.cn/1646706835/50/40090027455/1 hbyido 网页版 2015-10-11 17:10
算法 资源 Java Python 回归 可视化 书籍 统计
【逻辑斯谛回归与最大熵模型】本文希望通过《统计学习方法》 第六章的学习，由表及里地系统学习最大熵模型。文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法，并制作了可视化动画。对最大熵，提供一份简明的GIS最优化算法实现，注解IIS最优化算法的Java实现。http://t.cn/RyncRBd
http://ww3.sinaimg.cn/large/6226c093jw1ewxb7d1cnjj20ny05e0t4.jpg
http://tp2.sinaimg.cn/1824228933/50/40038626872/1 hankcs 网页版 2015-10-11 16:50
算法 SVM 统计
【拉格朗日对偶性】 在看《统计学习方法》支持向量机一章的时候，看到“应用拉格朗日对偶性（参阅附录C），通过求解对偶问题得到原始问题的最优解”一句，于是往下递归学习了一下附录C的拉格朗日对偶性。名曰学习，实则是摘抄，加入了少量个人理解与背景补充。毕竟定理和…http://t.cn/Rynt96X
http://ww2.sinaimg.cn/large/6cbb8645jw1ewxam3il3yj20qo0k0dhd.jpg
http://tp1.sinaimg.cn/1746173800/50/40027977331/1 InfoQ 网页版 2015-10-11 11:45
应用 推荐系统
【京东数据驱动下的个性化推荐】京东作为国内最大的自营b2c平台以数据为驱动的个性化推荐系统发挥着越来越关键的作用，目前推荐直接公司的订单占比已经占到总订单的13%。重点介绍京东个性化推荐系统多年宝贵的实践经验，对零售企业很有借鉴意义。 http://t.cn/RyQMHOX
http://ww4.sinaimg.cn/large/68147f68jw1ewwdn86s4xj20ae064dfy.jpg
http://tp2.sinaimg.cn/1402400261/50/5713579194/1 爱可可-爱生活 网页版 2015-10-11 09:00
会议活动 算法 ICML Li Wan Matthew Zeiler Rob Fergus Sixin Zhang Yann Le Cun 会议教育网站 神经网络
【论文+代码:基于DropConnect的NN正则化】《Regularization of Neural Networks using DropConnect》Li Wan, Matthew Zeiler, Sixin Zhang, Yann Le Cun, Rob Fergus (ICML2013)http://t.cn/z8r1ZUB 参阅《Regularizing neural networks with dropout and with DropConnect》 http://t.cn/8k1eAzC
http://ww3.sinaimg.cn/large/5396ee05gw1ewwx1f7t21j20j40fiq59.jpg
http://tp1.sinaimg.cn/3369755644/50/5661949136/1 课程图谱 网页版 2015-10-11 08:30
资源 课程 统计
#开课提醒# Coursera上的公开课”Math behind Moneyball”今日开课，感兴趣的同学可以关注: Learn how probability, math, and statistics can be used to help baseball, football and basketball te…… http://t.cn/RyEaeam
http://tp2.sinaimg.cn/1402400261/50/5713579194/1 爱可可-爱生活 网页版 2015-10-11 08:02
深度学习 资源 PDF 幻灯片 视频 数据科学
【视频+幻灯:(GOTO Chicago 2015)Arno Candel基于H2O的可扩展数据科学/深度学习】《Arno Candel: “Scalable Data Science and Deep Learning with H2O”》YouTube:http://t.cn/RyEXpKT Slide:http://t.cn/RyEXpKj 云:http://t.cn/RyEXpKW
http://tp2.sinaimg.cn/1402400261/50/5713579194/1 爱可可-爱生活 网页版 2015-10-11 07:55
深度学习 资源 Sean Lorenz 视频
【视频:(BDF 2015)Sean Lorenz深度学习与物联网】《Sean Lorenz at BDF 2015 | “Deep Learning & The IoT”》by Sean Lorenz, LogMeIn YouTube:http://t.cn/RyEXbEo云:http://t.cn/RyEXbES
http://tp2.sinaimg.cn/1402400261/50/5713579194/1 爱可可-爱生活 网页版 2015-10-11 06:37
Danny Palmer
【机器学习如何在Amazon的零售和Kindle服务中发挥关键作用】《How machine learning plays a key role in Amazon retail and Kindle services》By Danny Palmer http://t.cn/RyEJPgx
http://tp2.sinaimg.cn/1402400261/50/5713579194/1 爱可可-爱生活 网页版 2015-10-11 06:06
算法 资源 PDF 期刊
【开源(Matlab):在线学习算法库LIBOL】”library that consists of a large family of state-of-the-art online learning algorithms for machine learning and data mining research”http://t.cn/RyExZTZ 参阅《LIBOL: A Library for Online Learning Algorithms》(JMLR2014)http://t.cn/RyExzcH
http://tp1.sinaimg.cn/5220650532/50/5701668539/1 好东西传送门 网页版 2015-10-11 04:51
深度学习 视觉 算法 简报 神经网络 主题模型
第387期机器学习日报(2015-10-10)http://t.cn/RyEILuO 1) 深度学习是否以蛮力取胜? 2) 拓扑数据分析与机器学习的相互促进 3) 深度学习中的dropout 4) CMU机器学习视频和资料 5) 基于非参数LDA的Econtalk主题分析实例 完整版23条 http://t.cn/RyEILu0
http://ww1.sinaimg.cn/large/005HjjGQgw1ewwpu2og64j30dm0akdhj.jpg
页:
[1]