机器学习日报 2017-06-09 用Deep Learning Pipelines for Apache Spark简化深度学习;可变形卷积网络
机器学习日报 2017-06-09[*]用Deep Learning Pipelines for Apache Spark简化深度学习 @爱可可-爱生活
[*]可变形卷积网络 @微软亚洲研究院
[*]用二进制算法加速神经网络 @网路冷眼
[*]七招教你处理非平衡数据——避免得到一个“假”模型 @阿里云云栖社区
[*]【合作/竞争/沟通学习】《Learning to Cooperate， Compete， and Communicate》 @爱可可-爱生活
@好东西传送门 出品,由@AI100运营， 过往目录 见http://ml.memect.com
订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群
http://memect-public.oss-cn-hangzhou.aliyuncs.com/images/AI100_logo.png
邮件版包括19条，本期的Web版有完整内容26条
用日报搜索找到以前分享的内容： http://ml.memect.com/search/今日焦点 (5)
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-06-09 05:46
架构 经验总结 深度学习 Spark Sue Ann Hong Tim Hunter 博客
【用Deep Learning Pipelines for Apache Spark简化深度学习】《A Vision for Making Deep Learning Simple | The Databricks Blog》by Sue Ann Hong, Tim Hunter, Reynold Xin http://t.cn/RSTxeN2
http://wx2.sinaimg.cn/large/5396ee05ly1fgeik4col3j21jj0qs1kx.jpg
http://tva2.sinaimg.cn/crop.0.0.1497.1497.50/4caedc7agw1e6isc8p2y2j215o15oq5a.jpg 微软亚洲研究院 网页链接 2017-06-09 17:01
深度学习 视觉 算法 神经网络
【解读可变形卷积网络】如何适应图像中复杂的几何形变问题是物体识别的主要难点，也是计算机视觉领域多年来的核心问题。近日,微软亚洲研究院视觉计算组公布了一篇题为“Deformable Convolutional Networks”的论文,在卷积神经网络中引入了学习空间几何形变的能力。 http://t.cn/RSHQd2M
http://tva2.sinaimg.cn/crop.0.0.180.180.50/663aa05ajw1e8qgp5bmzyj2050050aa8.jpg 网路冷眼 网页链接 2017-06-09 17:00
算法 神经网络
【【Accelerating Neural Networks with Binary Arithmetic】http://t.cn/RSHQOc1 用二进制算法加速神经网络。
http://wx1.sinaimg.cn/large/663aa05agy1fgeywsrjtmj20go0a9770.jpg
http://tva3.sinaimg.cn/crop.14.12.154.154.50/739a6626gw1f2h22g6kdkj2050050dfu.jpg 阿里云云栖社区 网页链接 2017-06-09 14:08
#云栖技术分享# 《七招教你处理非平衡数据——避免得到一个“假”模型》本文主要介绍处理不平衡数据的技巧，给出了七种适用于特定问题及数据集的方法，避免由于数据集不平衡而得到的一个假的好模型。http://t.cn/RSHcq6S
http://wx2.sinaimg.cn/large/739a6626ly1fgex25o29lj20un0eymxc.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-06-09 05:34
论文
《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》R Lowe, Y Wu, A Tamar, J Harb, P Abbeel, I Mordatch (2017) http://t.cn/RSTxT78
http://wx2.sinaimg.cn/large/5396ee05ly1fgei5ej73vj21220hs42h.jpg
最新动态
http://tva2.sinaimg.cn/crop.0.0.180.180.50/663aa05ajw1e8qgp5bmzyj2050050aa8.jpg 网路冷眼 网页链接 2017-06-09 20:43
视觉
【Facebook：计算机视觉新升级，1秒钟可训练40000张图片】http://t.cn/RSHutDJ 6月9日消息 Facebook今日在西雅图 Data@Scale 大会上公布的一篇研究论文中表示，已成功开发一套新的计算机视觉系统，该系统在每秒钟可完成4万张图片的训练。这样一来在60分钟内就可以完成ImageNet -1K的数据集（共计120万
http://wx1.sinaimg.cn/large/663aa05agy1fgf8hrigtdj20kk0bkaal.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-06-09 20:12
资源 Cho Github 代码 课程
【TensorFlow官方文档未覆盖API教程】’TensorFlow Tutorial + - Tutorials for TensorFlow APIs the official documentation doesn't cover' by Jaemin Cho GitHub: http://t.cn/RSQ4ttl
http://wx3.sinaimg.cn/large/5396ee05ly1fgf7l6ozutj20wi18std9.jpg
http://tva1.sinaimg.cn/crop.0.0.640.640.50/642c5793jw8es1tzsl205j20hs0hst9g.jpg 杨萧玉HIT 网页链接 2017-06-09 17:44
深度学习 代码
刚才无聊用苹果的 Core ML 和 Swift4 做了个深度学习图片分类的 Demo，使用训练好的 Inception v3 model，Github：http://t.cn/RSH3A90 请使用 Xcode9 和 iOS11 运行 Demo，Xcode 9 疯狂 crash 得让我真是爽啊[二哈]
http://wx2.sinaimg.cn/large/642c5793gy1fgf39kw1rwg209d0gox6y.gif
http://tva2.sinaimg.cn/crop.0.0.180.180.50/6f830abfjw1e8qgp5bmzyj2050050aa8.jpg ArnetMiner 网页链接 2017-06-09 17:31
Cassandra Chapman Winnifred Louis 统计
【观点】《The seven deadly sins of statistical misinterpretation, and how to avoid them》统计学表达上常犯的7个错误，如何避免 http://t.cn/RSHuA6f 来源：theconversation.com 作者：Winnifred Louis, Cassandra Chapman
http://wx2.sinaimg.cn/large/6f830abfly1fgf2xuo3xpj20ms0spwjy.jpg
http://tvax4.sinaimg.cn/crop.0.19.1242.1242.50/89e79336ly8fewmiadgrej20yi0zlq70.jpg 涂存超 网页链接 2017-06-09 17:06
会议活动 算法 资源 自然语言处理 陈新驰 幻灯片 会议 活动 神经网络
今天有幸邀请到了复旦大学的陈新驰同学来我们组进行学术报告，报告的题目是"基于神经网络的中文分词技术（Neural Models for Chinese Word Segmentation）"，其中还详细介绍了他们今年ACL的Outstanding Paper。经过报告者允许，我们放出了这次报告的slides，欢迎大家关注~http://t.cn/RSH88io
http://wx2.sinaimg.cn/large/89e79336ly1fgf25u6zd7j20m80go0tg.jpg
http://tva2.sinaimg.cn/crop.0.0.1497.1497.50/4caedc7agw1e6isc8p2y2j215o15oq5a.jpg 微软亚洲研究院 网页链接 2017-06-09 16:03
会议活动 视觉 CVPR 会议
【与大牛面对面】为了促进国内计算机视觉研究的发展和交流，“微软亚洲研究院创研论坛——CVPR 2017论文分享会”将与6月16日在微软大厦举行，国内外该领域的大牛们将分享各自在本届大会发表的最新研究和技术观点。转发并评论本条微博,就有机会获得我们送出的5张入场券~[坏笑] http://t.cn/RSHNrT4
http://tva3.sinaimg.cn/crop.0.0.180.180.50/7ebeb44bjw1e8qgp5bmzyj2050050aa8.jpg 唐杰THU 网页链接 2017-06-09 12:47
算法 知识工程 自然语言处理 语言学 知识库
全国知识图谱与语义计算大会（CCKS）将组织一个评测竞赛workshop，为研究者们提供一个测试技术、算法、及系统的平台。本次评测包括两个任务：问题命名实体识别和链接http://t.cn/RSHARWk和电子病历命名实体识别http://t.cn/RSHARWe http://t.cn/RSHARWD 欢迎大家参加！
http://wx2.sinaimg.cn/large/7ebeb44bly1fgeuod52syj21kw0wqh57.jpg
http://tva2.sinaimg.cn/crop.0.0.1022.1022.50/005Fj2RDgw1ex5pinpg65j30sg0sgdg9.jpg 开发者头条 网页链接 2017-06-09 12:18
应用 推荐系统 王栋
Pinterest 推荐系统四年进化之路 http://t.cn/RSTaIOT by 王栋 分享自 @jifei 开通的独家号《机器学习与大数据》 http://t.cn/Rfpgmag （想看更多？下载 @开发者头条 App：http://t.cn/RJyDMlJ ）
http://wx4.sinaimg.cn/large/005Fj2RDgy1fgem20ltzoj30c846kb29.jpg
http://tva1.sinaimg.cn/crop.0.0.264.264.50/574a437fgw1enbwjwet5tj207e08j0t6.jpg 刘知远THU 网页链接 2017-06-09 11:45
自然语言处理 Yoav Goldberg
Yoav Goldberg的An Adversarial Review of “Adversarial Generation of Natural Language还是很猛的，不仅批判了Bengio大神所在的蒙特利尔大学MILA组，还捎带了CMU、Facebook等研究组的工作。学术研究不是请客吃饭，挺需要这样的观点碰撞和严肃态度。 @yoav.goldberg/an-adversarial-review-of-adversarial-generation-of-natural-language-409ac3378bd7">http://t.cn/RSTBcno
http://wx4.sinaimg.cn/large/574a437fgy1fgesph712tj213i0v844j.jpg
龙星镖局 网页链接 转发于2017-06-09 12:23
他说大家都觉得说得很好，我们小兵说就一点用没用，还说我们跟不上时代。大多数都是我们，我们其实都知道他描述的这个问题。。
yaolubrain 网页链接 转发于2017-06-09 16:54
Yoav大神很有骨气。某些人水平真心一般，又不肯踏踏实实做事，成天玩的都是政治公关手段，最后即使公开名气很大，大家私下聊时都是骂名。
http://tva2.sinaimg.cn/crop.0.0.180.180.50/663aa05ajw1e8qgp5bmzyj2050050aa8.jpg 网路冷眼 网页链接 2017-06-09 11:30
经验总结 算法 博客 异常检测
【Time Series Anomaly Detection Algorithms】http://t.cn/RSTeR0M 时间序列异常检测算法：目前普通语言异常检测技术状态。
http://wx2.sinaimg.cn/large/663aa05agy1fgernnsvs3j21g20kajz2.jpg
http://tva1.sinaimg.cn/crop.0.110.440.440.50/62caff97jw8e9la9x3lcbj20c80ict9r.jpg 王威廉 网页链接 2017-06-09 11:04
深度学习 自然语言处理 Yoav Goldberg
Yoav Goldberg撰文猛批蒙特利尔大学最新文章Adversarial Generation of Natural Language及Arxiv挖坑的不良风气。An Adversarial Review of “Adversarial Generation of Natural Language” Or, for fucks sake, DL people, leave language alone and stop saying you solve it.：
王威廉 网页链接 转发于2017-06-09 11:36
Goldberg说蒙特利尔大学MILA出品的这篇文章有令人恶心的不尊重语言。（grossly disrespecting language）
刘群MT-to-Death 网页链接 转发于2017-06-09 13:09
真是火力全开啊，过瘾！有意思的一点，文章批评了一些DL研究者对语言（作为研究对象）的不尊重，过于夸大自己的工作，把一个小小的贡献描述成似乎解决了语言处理的大问题。另外批评了arXiv占坑的做法，特别是一些大组这么做，提倡更多的批评。
http://tva1.sinaimg.cn/crop.68.68.206.206.50/6a8a5823gw1eckd63757pj209k09kmxj.jpg FPGA开发圈 网页链接 2017-06-09 10:36
Python 可视化
【利用Python优雅地可视化数据】最近看《机器学习系统设计》...前两章。学到了一些用 Matplotlib 进行数据可视化的方法。在这里整理一下。http://t.cn/RSTnVgB
http://wx4.sinaimg.cn/large/6a8a5823gy1fgeqyl7vlhj20vy0hk0ub.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-06-09 06:09
深度学习 算法 Sean Robertson 代码 强化学习
【PyTorch实践：增强学习玩GridWorld游戏】《Practical PyTorch: Playing GridWorld with Reinforcement Learning (Policy Gradients with REINFORCE)》by Sean Robertson http://t.cn/RSTUkYe
http://wx1.sinaimg.cn/large/5396ee05ly1fgej792rnkg20go05k194.gif
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-06-09 05:52
视觉 算法 李沐
【大规模精确Minibatch SGD：一小时训练ImageNet】《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》P Goyal, P Dollar, R Girshick… (2017) http://t.cn/RSTJ7Du
http://wx1.sinaimg.cn/large/5396ee05ly1fgeiozopkzj20t010o10v.jpg
老师木 网页链接 转发于2017-06-09 08:17回复 @_看日出_ “减少通信带宽，便于做到多机并行...”
小minibatch的话单卡或单机多卡能搞定一样的精度，那么大minibatch就只是为了使用更多机器更多卡。。
winsty 网页链接 转发于2017-06-09 08:57回复 @unluckyAllen “跪了[二哈]”
MXnet去年底就完成的事情，@李沐M Thesis中的一节。有网红加持就写了一篇pr paper，摊手。
老师木 网页链接 转发于2017-06-09 09:03回复 @winsty “前两天有paper讲这个事情，泛化性...”
期待大minibatch size 的确比小size 效果好，如果计算量大导致迭代次数少，可以通过增加计算设备来解决，这就合理了，但现在还没看到大size 又快又好。
老师木 网页链接 转发于2017-06-09 10:11回复 @马超Terminal “多机环境下大size可以有效降低通...”
batch 越大通信开销越大。只是batch size大的话，有效负荷比较大罢了。batch size 太小，无论是通信，还是gpui算，有效负荷比例就变小了。
马超Terminal 网页链接 转发于2017-06-09 10:33
对于神经网络这种dense的数据，bacth size增大，网络traffic不会变化太多，所以计算和网络可以更容易overlap。对于LR，FM这种稀疏数据，batch size增大网络traffic会增加，但是有效负载也会变高，这里会有一个tradeoff. 实际中更倾向于大size加model average的方法，可以参考李沐 kdd 那篇文章。
tornadomeet 网页链接 转发于2017-06-09 10:48回复 @马超Terminal
李沐博士论文4.5.3说的就是这个，做了160gpu的resnet-152实验，大batch-size+大lr，且http://t.cn/RSTuieOmxnet官方很早也有curve，这篇文章竟然没有cite....
老师木 网页链接 转发于2017-06-09 12:47
所有搞大规模机器学习的都期待着 大batch 会有性能提升，因为这样的话，造的轮子才在大数据批次并行时有用武之地
fengyuncrawl 网页链接 转发于2017-06-09 18:38
深度学习痛点其实是训练时间，在计算力接近无限情况下的可扩展性，从32gpu扩展到256gpu了！
页:
[1]