AI100_机器学习日报 2017-10-29 ICCV 2017：训练GAN的16个技巧
AI100_机器学习日报 2017-10-29[*]ICCV 2017：训练GAN的16个技巧 @wx:
[*]TensorFlow推荐算法框架 @爱可可-爱生活
[*]开放图像目标检测深入研究 @爱可可-爱生活
[*]FigureQA：18万图表/百万级问答对图表问答数据集 @爱可可-爱生活
[*]深度神经网络模型压缩和加速方法调研 @爱可可-爱生活
@好东西传送门 出品,由@AI100运营， 过往目录 见http://ai100.com.cn
订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群http://memect-public.oss-cn-hangzhou.aliyuncs.com/images/AI100_logo.png
邮件版包括12条，本期的Web版有完整内容15条
用日报搜索找到以前分享的内容： http://ml.memect.com/search/今日焦点 (5)
wx: 网页链接 2017-10-29 20:59
会议活动 深度学习 视觉 算法 应用 资源 Chris Rowen ICCV Max Log NIPS PDF Tom White代码 广告系统 行业动态 华先胜 幻灯片 会议 活动 贾佳亚 论文 孙剑 统计
「ICCV 2017：训练GAN的16个技巧，2400+星（PPT）」【AI WORLD 2017世界人工智能大会倒计时 10 天】 在2017年11月8日在北京国家会议中心举办的AI World 2017世界人工智能大会上，我们邀请到阿里巴巴副总裁、iDST副院长华先胜，旷视科技Face++首席科学家、旷视研究院院长孙剑博士，腾讯优图实验室杰出科学家贾佳亚教授，以及硅谷知名企业家、IEEE Fellow Chris Rowen，共论人脸识别等前沿计算机视觉技术。 抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026大会官网：http://www.aiworld2017.com 新智元编译作者：Soumith Chintala等 编译：马文 【新智元导读】本文来自ICCV 2017的Talk：如何训练GAN，FAIR的研究员Soumith Chintala总结了训练GAN的16个技巧，例如输入的规范化，修改损失函数，生成器用Adam优化，使用Sofy和Noisy标签，等等。这是NIPS 2016的Soumith Chintala作的邀请演讲的修改版本，而2016年的这些tricks在github已经有2.4k星。ICCV 2017 slides：https://github.com/soumith/talks/blob/master/2017-ICCV_Venice/How_To_Train_a_GAN.pdfNIPS2016：https://github.com/soumith/ganhacks # 1：规范化输入将输入图像规范化为-1到1之间生成器最后一层的输出使用tanh函数（或其他bounds normalization） #2：修改损失函数（经典GAN）在GAN论文里人们通常用 min (log 1-D) 这个损失函数来优化G，但在实际训练的时候可以用max log D -因为第一个公式早期有梯度消失的问题 - Goodfellow et. al (2014)在实践中：训练G时使用反转标签能工作得很好，即：real = fake, fake = real 一些GAN变体【TensorFlow】https://github.com/hwalsuklee/tensorflow-generative-model-collections【Pytorch】https://github.com/znxlwm/pytorch-generative-model-collections #3：使用一个具有球形结构的噪声z在做插值（interpolation）时，在大圆（great circle）上进行Tom White的论文“Sampling Generative Networks”- https://arxiv.org/abs/1609.04468 #4: BatchNorm一个mini-batch里面必须保证只有Real样本或者Fake样本，不要把它们混起来训练如果不能用batchnorm，可以用instance norm #5：避免稀疏梯度：ReLU, MaxPoolGAN的稳定性会因为引入了稀疏梯度受到影响LeakyReLU很好（对于G和D）对于下采样，使用：Average Pooling，Conv2d + stride对于上采样，使用：PixelShuffle, ConvTranspose2d + stride -PixelShuffle 论文：https://arxiv.org/abs/1609.05158 #6：使用Soft和Noisy标签Label平滑，也就是说，如果有两个目标label：Real=1 和 Fake=0，那么对于每个新样本，如果是real，那么把label替换为0.7~1.2之间的随机值；如果样本是fake，那么把label替换为0.0~0.3之间的随机值。训练D时，有时候可以使这些label是噪声：偶尔翻转label - Salimans et. al. 2016 #7：架构：DCGANs / Hybrids能用DCGAN就用DCGAN，如果用不了DCGAN而且没有稳定的模型，可以使用混合模型：KL + GAN 或 VAE + GANWGAN-gp的ResNet也很好（但非常慢） - https://github.com/igul222/improved_wgan_trainingwidth比depth更重要 #8：借用RL的训练技巧Experience replay对于deep deterministic policy gradients（DDPG）有效的技巧参考Pfau & Vinyals (2016)的论文 #9：优化器：ADAM优化器用Adam（Radford et. al. 2015）或者对D用SGD，G用Adam #10：使用 Gradient Penalty使梯度的norm规范化对于为什么这一点有效，有多个理论（WGAN-GP, DRAGAN, 通过规范化使GAN稳定） #11：不要通过loss statistics去balance G与D的训练过程（经典GAN） #12：如果你有类别标签，请使用它们如果还有可用的类别标签，在训练D判别真伪的同时对样本进行分类 #13：给输入增加噪声，随时间衰减给D的输入增加一些人工噪声(Arjovsky et. al., Huszar, 2016)给G的每一层增加一些高斯噪声(Zhao et. al. EBGAN) #14：多训练判别器D特别是在加噪声的时候 #15：避开离散空间将生成结果作为一个连续预测 #16：离散变量使用一个嵌入层给图像增加额外通道保持嵌入的维度低和上采样以匹配图像通道的大小 总结：GAN模型的稳定性在提升理论研究有所进展技巧只是权宜之计 PPT下载：https://github.com/soumith/talks/blob/master/2017-ICCV_Venice/How_To_Train_a_GAN.pdf参考：https://github.com/soumith/ganhacks 深入了解AI 技术进展和产业情况，参加新智元世界人工智能大会，马上抢票！ 【AI WORLD 2017世界人工智能大会倒计时 10 天】点击图片查看嘉宾与日程。抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026AI WORLD 2017 世界人工智能大会购票二维码：via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652006892&idx=3&sn=9b8802adb47e0a9e85dc10a912b75f96&scene=0#wechat_redirect
http://47.93.113.146:6656/api/v1/image?url=http://mmbiz.qpic.cn/mmbiz_jpg/UicQ7HgWiaUb1gSkQZsCFfA1QR1ecPQ0ibIibspXP3eAhKIwdKrjrPSwAhahMG6DEqW9PZCpUOEZicBN658bS3lG4KQ/0?wx_fmt=jpeg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-10-29 15:34
算法 应用 James Kirk Python 代码 推荐系统
【TensorFlow推荐算法框架】’TensorRec - A TensorFlow recommendation algorithm and framework in Python.' by James Kirk GitHub: https://github.com/jfkirk/tensorrec
http://wx2.sinaimg.cn/large/5396ee05ly1fkz5kbgm1dj21fk11y46k.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-10-29 13:11
经验总结 深度学习 视觉 James Sutton 博客
【(TensorFlow)开放图像目标检测深入研究】《Deep Dive into Object Detection with Open Images, using Tensorflow》by James Sutton http://t.cn/RW8GoVN
http://wx4.sinaimg.cn/large/5396ee05ly1fkz1ept67cj20cg08c7ao.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-10-29 07:00
论文
【FigureQA：18万图表/百万级问答对图表问答数据集】“Maluuba FigureQA” http://t.cn/RWRINq4 ref:《FigureQA: An Annotated Figure Dataset for Visual Reasoning》 (2017) http://t.cn/RWRINqb
http://wx4.sinaimg.cn/large/5396ee05ly1fkyqowcmn3j21kw0kxn0g.jpg
http://tva2.sinaimg.cn/crop.10.34.646.646.50/5396ee05jw1ena6co8qiwj20sg0izjxd.jpg 爱可可-爱生活 网页链接 2017-10-29 05:16
深度学习 算法 论文 神经网络
《A Survey of Model Compression and Acceleration for Deep Neural Networks》Y Cheng, D Wang, P Zhou, T Zhang (2017) http://t.cn/RWRtd7P
http://wx4.sinaimg.cn/large/5396ee05ly1fkyno9xma1j20ti1ioan3.jpg
爱可可-爱生活 网页链接 转发于2017-10-29 14:35
《当前深度神经网络模型压缩和加速方法速览》via:机器之心 http://t.cn/RWEjDd1
最新动态
wx: 网页链接 2017-10-29 20:59
公告板 会议活动 深度学习 语音 资源 Alex Smola Java Python R语言 Tuomas Sandholm 代码 行业动态 胡郁 华先胜 会议 活动 课程 邵洋 数据库 王永东
「【GitHub 2017年度报告】70万中国新用户，Python超越Java成第二受欢迎语言」【AI WORLD 2017世界人工智能大会倒计时 10 天】大会早鸟票已经售罄，现正式进入全额票阶段。还记得去年一票难求的AI WORLD 2016盛况吗？今年，即将于2017年11月8日在北京国家会议中心举办的AI World 2017世界人工智能大会，我们请到CMU教授、冷扑大师发明人Tuomas Sandholm，百度副总裁王海峰，微软全球资深副总裁王永东，阿里巴巴副总裁华先胜，亚马逊AWS机器学习总监Alex Smola 、科大讯飞执行总裁胡郁，华为消费者事业群总裁邵洋等国内外人工智能领袖参会并演讲，一起探讨中国与世界AI的最新趋势。点击文末阅读原文，马上参会！抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026大会官网：http://www.aiworld2017.com新智元报道来源：octoverse.github.com编译：马文 【新智元导读】GitHub 2017年年度报告发布：这一年，全球200多个国家的2400万开发者用337种编程语言创建了2530万活跃repos。其中，有70万来自中国的新用户加入，Python超越Java成为第二最受欢迎的语言，TensorFlow依然是最受欢迎的深度学习库。大批统计数字袭来，带你领略开发者以及AI技术发展非凡的一年。 数以百万的开发者在使用 GitHub 共享代码和构建业务。你在这里提交你的工作，对新技术进行修补，为开源项目做出贡献，等等。你已经证明，当充满好奇心的人们得以一起工作时，就会有好事发生：工作进展得更快，新的想法源源不断，我们构建软件的方式也会发生根本性的改变。 过去的十年里，你已经完成了数百万项的工作。在2017年，GitHub社区拥有2400万开发者，他们在6700万个开源库中工作。 用户总数：2400万总机构数：150万总仓库数：6700万 GitHub 的2400万用户遍布全世界200多个国家。下面这张地图显示了哪个大陆使用GitHub的人数最多。 这一年，有670万名开发者新加入GitHub。你打开了你的第一个pull request，创建了新的仓库，为世界各地的开源社区做出了贡献。 自2016年9月以来，有670万开发者新加入GitHub，以及45.1万新的组织，包括在今年初搬到GitHub的Python（github.com/python）。 欢迎来到GitHub 我们很高兴欢迎来自世界各地的新用户加入GitHub。今年，有超过100万新加入的开发者来自美国，近70万来自中国。 自2016年9月以来：有120万人第一次 Pull Request410万人创建了他们的第一个仓库19.1万人star或fork了一个仓库 GitHub的新用户都是什么人？ 我们了解到，几乎一半的新注册用户是学生或编程新人。 48% 学生28% 专业人士22% 编程爱好者3% 其他 新用户有多少编程经验？ 45% 有一些经验45% 完全没有经验10% 经验丰富 2017，作为程序员的你度过了忙碌的一年，在2500万个公共存储库共享了代码。让我们来回顾一下你构建代码的方式，你所做的贡献，以及你使用的语言。 自2016年9月以来：10亿公开commits2530万活跃repos（“活跃”意味着在过去的一年代码中有一些公共活动，例如提交过代码，评论，被标过星，或被提交issue。）1250万活跃issues130万新Pull requests GitHub上最流行的15种语言 GitHub上的开源项目共使用337种编程语言——JavaScript是使用最多的语言。 2017年，Python取代Java成为GitHub上第二流行的语言，今年的pull requests比去年增加了40%。排在第4 的是Ruby，PHP和C++则分别第五和第六。 Typescript的数量也在增加，几乎是去年的4倍。 今年1月，我们发布了主题分布引擎：仓库的tag能让你通过技术类型、行业等来探索不同主题的项目。 以下是自这个功能发布以来GitHub上的最热门主题（不包括框架和语言项目）。 以下是GitHub上最活跃的组织和项目，根据贡献者、fork和comment的数量统计而来。 10大最多被fork的项目 这个列表不包括MOOC课程，例如coursera上一项已经有超过10万fork的R语言编程作业（rdpeng/ProgrammingAssignment2）。 10大最多贡献者的项目 10大最多review的项目 10大最多讨论的项目 Comment和review只是构建软件过程中发生的讨论的一小部分。今年，你以更多的方式与世界各地的同事、合作者和朋友交换了意见。 62.4万个Pull requests被审查140万用户在别人的Issue下发表了评论 用Emoji表达态度 语言常常无法表达我们的感情，但有时候，一个http://memect.com/sendy/t/TX4chfoAQYjfovnYS763FAJw/SPKO6VJewaUkPKs0QweANA
页:
[1]