|
|
AI100_机器学习日报 2017-10-18
@ 好东西传送门 出品,由@AI100运营， 过往目录 见 http://ai100.com.cn
订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群 
今日焦点 (5)
 ArnetMiner 网页链接 2017-10-18 06:18
算法
【分享】RL两大类算法的本质区别是什么？（Policy Gradient 和 Q-Learning) - 来源:知乎 回答作者：太捉急 http://t.cn/ROB1EUZ
[img=20,20][/img] wx: 网页链接 2017-10-19 06:41
会议活动 深度学习 视觉 算法 应用 资源 Changsheng Xu China Chapter China Pre-ConferenceHantao Yao Hanwang Zhang Huadong Ma Jingfan Guo Jintao Li Junjie Zhao Liu Ruoyu Peng Cheng Qingming Huang Qi Tian San Antonio Seng Chua Shikui Wei Shiliang Zhang Shuhui Wang Teng Li Tianzhu ZhangTongwei Ren Wang Jingdong Weigang Zhang Wen Gao Xinchen Liu Yao Zhao Yongdong Zhang Yuxin Peng 幻灯片 活动 神经网络 推荐系统 信息检索
「【论文Slides分享】多媒体顶级会议ACM Multimedia 2017 China 论文宣讲会报告Slides资料分享」【导读】第25届ACM国际多媒体会议（ACM International Conference on Multimedia, 简称ACMMM）于2017年10月23日至27日在美国硅谷Mountain View隆重举行。自1993年首次召开以来，ACMMM每年召开一次，已经成为多媒体领域顶级会议，也是中国计算机学会推荐的A类国际学术会议热门方向有大规模图像视频分析、社会媒体研究、多模态人机交互、计算视觉、计算图像等等。 昨天ACM SIGMM China Chapter在中国科学院自动化研究所举行了ACM MM 2017 Pre-Conference 论文宣讲研讨会！【学术盛宴 】多媒体顶级会议ACM Multimedia 2017 China Pre-conference论文宣讲研讨会【ACM MM论文集】国际多媒体顶级会议ACM Multimedia 2017 Open Access Repository我们今天特别分享来自ACM MM论文宣讲者的报告Slides，请查看：Beyond Human-level License Plate Super-resolution with Progressive Vehicle Search and Domain Priori GANWu Liu (Beijing University of Posts and Telecommunications); Xinchen Liu (Beijing University of Posts and Telecommunications); Huadong Ma (Beijing University of Posts and Telecommunications); Peng Cheng (Beijing University of Posts and Telecommunications) 报告地址：链接: https://pan.baidu.com/s/1qYdriNE 密码: c96rDeep Unsupervised Convolutional Domain AdaptationJunbao Zhuo (Key Lab of Intellectual Information Processing(CAS), Institute of Computing Technology, Chinese Academy of Sciences, Beijing, 100190, China); Shuhui Wang (Key Lab of Intellectual Information Processing(CAS), Institute of Computing Technology, Chinese Academy of Sciences, Beijing, 100190, China); Weigang Zhang (Harbin Institute of Technology (Weihai)); Qingming Huang (University of Chinese Academy of Sciences) 报告地址： 链接: https://pan.baidu.com/s/1jIGdaaa 密码: spebFinding the Secret of CNN Parameter Layout under Strict Size ConstraintLiao Lixin (Beijing Jiaotong Universiy); Yao Zhao (Beijing Jiaotong Universiy); Shikui Wei (Beijing Jiaotong Universiy); Wang Jingdong (Microsoft Research Asia); Liu Ruoyu (Beijing Jiaotong Universiy) 报告地址：链接: https://pan.baidu.com/s/1b3RSqa 密码: e8exGLAD: Global-Local-Alignment Descriptor for Pedestrian RetrievalLonghui Wei (Peking University); Shiliang Zhang (Peking University); Hantao Yao (Institue of Computing Technology, Chinese Academy of Sciences; University of Chinese Academy of Sciences); Wen Gao (Peking University); Qi Tian (Department of Computer Science, University of Texas at San Antonio) 报告地址：链接: https://pan.baidu.com/s/1nuZtxoP 密码: xe8wOne-Shot Fine-Grained Instance RetrievalHantao Yao (Institute of Computing Technology (ICT), Chinese Academy of Sciences; University of Chinese Academy of Sciences); Shiliang Zhang (Electronic Engineering and Computer Science,Peking University); Yongdong Zhang (Institute of Computing Technology (ICT), Chinese Academy of Sciences); Jintao Li (Institute of Computing Technology (ICT), Chinese Academy of Sciences); Qi Tian (Computer Science University of Texas at San Antonio) 报告地址：链接: https://pan.baidu.com/s/1skKsnBB 密码: vmmsFine-grained Discriminative Localization via Saliency-guided Faster R-CNNXiangteng He (Peking University); Yuxin Peng (Peking University); Junjie Zhao (Peking University) 报告地址：链接: https://pan.baidu.com/s/1kVN214j 密码: kgngMulti-Modal Knowledge Representation Learning via Webly-Supervised Relationships MiningFudong Nian (Anhui University); Bingkun Bao (CASIA); Teng Li (Anhui University); Changsheng Xu (CASIA) 报告地址：链接: https://pan.baidu.com/s/1kUVZJuf 密码: dkttVideo Visual Relation DetectionXindi Shang (National University of Singapore); Tongwei Ren (Nanjing University); Jingfan Guo (Nanjing University); Hanwang Zhang (Columbia University); Tat-Seng Chua (National University of Singapore) 报告地址：链接: https://pan.baidu.com/s/1kUVZJuf 密码: dkttA Unified Personalized Video Recommendation via Dynamic Recurrent Neural NetworksJunyu Gao (Institute of Automation, Chinese Academy of Sciences); Tianzhu Zhang (Institute of Automation, Chinese Academy of Sciences); Changsheng Xu (Institute of Automation, Chinese Academy of Sciences) 报告地址：链接: https://pan.baidu.com/s/1dF5xR5B 密码: 4s75 转自：专知 完整内容请点击“阅读原文” via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
 ChatbotsChina 网页链接 2017-10-18 16:26
深度学习
详解Horovod：Uber开源的TensorFlow分布式深度学习框架 http://t.cn/ROghyiA
 机器之心Synced 网页链接 2017-10-18 14:42
算法
【Bi-Weekly | Amazon和Microsoft推出新的Gluon；Google的学习算法正创建另一种学习算法】Industry Bi-weekly 是全球人工智能行业重点事件评论类双周报。我们会在海量的新闻和事件中，摘取最具行业价值的事件，并提供独到的分析评论，供从业者参考。http://t.cn/ROdpOid
 PaperWeekly 网页链接 2017-10-18 11:52
深度学习 视觉 算法 自然语言处理 强化学习 问答系统
【NLP + CV + Machine Learning最新论文推荐】 本期论文推荐关键词：#Attention Model# #Chatbot# #Question Answering# #Object Detection# #Face Synthesis# #Face Reenactment# #CTC# #Deep Reinforcement Learning# #Molecular Machine Learning# 查看完整论文：http://t.cn/ROrrnDE
最新动态
[img=20,20][/img] wx:刘鹏 网页链接 2017-10-18 23:26
公告板 入门 深度学习 视觉 算法 应用 语音 资源 自然语言处理 Ian Goodfellow JavaSVM 费洛 广告系统 行业动态 回归 课程 刘鹏 神经网络 书籍 统计 凸优化 语言学 主题模型
「CCCF专栏 | 20万、50万、100万年薪的算法工程师到底有什么区别？」点击上方“中国计算机学会”轻松订阅!来源：《中国计算机学会通讯》2017年第10期《专栏》 近年来，人工智能迎来了新一轮的热潮。与前几次不同的是，目前人工智能开始可以真正解决许多实用问题了。一方面，得益于新计算架构带来的计算能力的快速提升，另一方面，得益于互联网等领域积累的海量数据。当然，能够用计算来挖掘数据中的价值，是因为深度学习技术的成熟。于是，在今天，从事人工智能工作，做一名算法工程师，成为眼下最热门的职业选择之一。 算法工程师曾经的境遇可没那么好：早年的互联网信奉“糙快猛”主义，各大互联网公司老板们觉得研究算法的人饱食终日、无所用心，找不到工作只好在学校“混”博士，靠数据上的障眼法装神弄鬼。可是，随着2016年AlphaGo战胜世界围棋冠军李世石之后，老板们的态度突然来了个大转弯，纷纷把各种搞劫持、送外卖的生意包装成人工智能，还纷纷请来几位懂算法的专家坐镇。于是，算法工程师的身价也水涨船高了。各门派工程师不论过去练的是java、php还是excel，都放弃了最好语言的争论，抄起了深度学习，发誓重新修炼成算法工程师。前些天，还有人在“知乎”上问我：年薪20万、50万、100万的算法工程师，到底有什么区别？这个问题很有意思。根据我的工作经验，用上面的数字做个参照，谈一谈算法工程师的三个层次。这里说的算法，并不是计算机系本科课程“算法与数据结构”里的算法。那门课里讲的是排序、查找这类“确定性算法”，而本文说的是用统计方法对数据进行建模的“概率性算法”。第一层次“Operating”：会使用工具这个层次的工程师，对常用的模型比较熟悉，得到数据以后，能选择一个合适的模型运行出结果。要想达到这个层次，其实门槛并不高。以前，只要掌握了文档主题生成模型(LDA)、支持向量机(SVM)、逻辑回归(LR)这些基本模型，再使用libnear、mahout等开源工具，就可以在拿到数据后运行出一个结果。到了深度学习时代，这件事似乎变得更简单了：管它什么问题，不都是拿神经网络往上堆嘛！最近，经常会遇到一些工程师，成功地跑通了TensorFlow的演示程序后，兴高采烈地欢呼：我学会深度学习了！这里要给大家狠狠浇上一盆冷水：进入这个领域的人，首先要明白一个道理：如果有两个模型进行一次多回合的较量，每个回合用的数据集不同，而且数据集没什么偏向性，那么最后的结果，十有八九是双方打平。考虑一种极端情况：有一个参赛模型是“随机猜测”，也就是无根据地胡乱给个答案，结果如何呢？双方还是打平！所以，请再也不要问“聚类用什么算法效果好”这样的傻问题了。这恐怕让入门者觉得沮丧：掌握了一堆模型并且会运行，其实并没有什么用。当然，实际问题的数据分布总是有一定特点的。比方说人脸识别，图中间怎么说都得有个“脸”。因此，问“人脸识别用什么模型好”这样的问题，就有意义了。而算法工程师的真正价值，就是洞察问题的数据先验特点，把它们在模型中表达出来。而这个，就需要下一个层次的能力了。会使用工具，在算法工程师中仅仅是入门水平。如果不是在薪酬膨胀严重的互联网界，我觉得年薪20万是个比较合理的待遇。第二层次“Optimization”：能改造模型这个层次的工程师，能够根据具体问题的数据特点对模型进行改造，并采用合适的最优化算法，以追求最好的效果。不论前人的模型多么美妙，都是基于当时观察到的数据先验特点设计的。比如说LDA，就是在语料质量不高的情况下，在概率隐语义分析(Probabilistic Latent Semantic Analysis, PLSA)的基础上引入贝叶斯估计，以获得更加稳健的主题。虽说用LDA不会大错，但是要在具体问题上运行出最好的结果，必须要根据数据特点对模型进行精准改造。这一现象在互联网数据上体现得更加明显，因为没有哪两家公司拥有的数据是相似的。百度的点击率模型，有数十亿的特征，大规模的定制计算集群，独特的深度神经网络结构，你能抄么？抄过来也没用。用教科书上的模型以不变应万变，结果只能是刻舟求剑。改造模型的能力，不是用几个开源工具那么简单，这需要有两方面的素养：1.深入了解机器学习的原理和组件。机器学习领域，有很多看似不是直接有用的基础原理和组件。比如，正则化怎么做？什么时候应该选择什么样的基本分布（见表1）？贝叶斯先验该怎么设？两个概率分布的距离怎么算？当看到前辈高人把这些材料烹调在一起，变成LDA、卷积神经网络(CNN)等成品菜肴的时候，你也要想想如果自己下厨，是否了解食材，会不会选择和搭配。如果仅仅会吃几个菜，能说出有什么味道，离好厨师还差很远。 2.熟练掌握最优化方法。如果机器学习从业者不懂最优化，相当于武术家只会耍套路。不管你设计了一个多好的模型，如果无法在有限的计算资源下找出最优解，那么这个模型不过是个花瓶罢了。最优化，是机器学习最重要的基础。在目标函数及其导数的各种情形下，你需要熟知如何选择优化方法，各种方法的时间空间复杂度、收敛性如何，还要知道怎样构造目标函数，才便于用凸优化或其他框架来求解。这些方面的训练，要比对机器学习模型的掌握更扎实才行。拿“以不变应万变”的深度学习举个例子。用神经网络处理语音识别、自然语言处理时间序列数据的建模，循环神经网络(Recurrent Neural Network, RNN)是个自然的选择（见图1）。不过在实践中，大家发现由于存在“梯度消失”现象，RNN很难对长程的上下文依赖建模。而在自然语言中，要决定be动词是用“is”还是“are”，有可能要往前翻好多词才能找到起决定作用的主语。怎么办呢？天才的施米德胡贝(J. Schmidhuber)设计了带有门结构的长短期记忆(Long Short-Term Memory, LSTM)模型（见图2），让数据自行决定哪些信息要保留，哪些要忘掉。如此以来，自然语言的建模效果就大大提高了。初看RNN与LSTM的结构对比，面对凭空多出来的几个门结构可能一头雾水，唯有洞彻其中的方法论，并且有扎实的机器学习和最优化基础，才能逐渐理解和学习这种思路。图1 循环神经网络模型图2 长短期记忆模型当然，LSTM这个模型是神来之笔，我等对此可望不可及。不过，在这个例子里展现出来的关键能力：根据问题特点调整模型，并解决优化上的障碍，是一名合格的算法工程师应该追求的能力。年薪50万能找到这样的人，是物有所值的。第三层次“Objective”：擅长定义问题对这个层次的工程师的要求比较高。给他一个新的实际问题，他要能给出量化的目标函数。当年，福特公司请斯坦门茨检修电机，他在电机外壳画了一条线，让工作人员在此处打开电机并迅速排除了故障。结账时，斯坦门茨开价1万美元，还列了个清单：画一条线，1美元；知道在哪儿画线，9999美元。同样的道理，在算法领域，最难的也是知道在哪里画线，这就是对一个新问题构建目标函数的过程。有明确的量化目标函数，正是科学方法区别于玄学方法、神学方法的重要标志。目标函数，有时能用一个解析形式(analytical form)写出来，有时则不能。比如网页搜索问题。它有两种目标函数：一种是归一化折损累积增益(Normalized Discounted Cumulative Gain, NDCG)，这是一个在标注好的数据集上可以明确计算出来的指标；另一种则是人工看坏案例(badcase)的比例，显然它无法用公式计算，但是其结果也是定量的，也可以作为目标函数。定义目标函数，乍听起来没有那么困难，不就是制定一个关键性能指标(KPI)吗？其实不然，要做好这件事，在意识和技术上都有很高的门槛。1.要建立“万般皆下品、唯有目标高”的意识。无论是一个团队还是一个项目，只要确立了正确的、可衡量的目标，达到这个目标就只是时间和成本问题。所谓“本立而道生”：一个项目开始时，总是应该先做两件事：一是定义清楚量化的目标函数；二是搭建一个能够对目标函数做线上A/B测试的实验框架。而收集什么数据、采用什么模型，都在其次。2.能够构造准确（信）、可解（达）、优雅（雅）的目标函数。目标函数要尽可能反映实际业务目标，同时又有可行的优化方法。一般来说，优化目标与评测目标是有所不同的。比如在语音识别中，评测目标是“词错误率”，但这个不可导，所以不能直接优化。因此，我们还要找一个“代理目标”，比如似然值或者后验概率，用于求解模型参数。评测目标的定义往往比较直观，但是要把它转化成一个高度相关，又便于求解的优化目标，是需要相当的经验与功力的。在语音建模里，即便是计算似然值，也需要涉及Baum-Welch等比较复杂的算法，但要定义清楚是不简单的。优雅，是个更高层次的要求，在遇到重大问题时，优雅往往是不二法门。因为往往只有漂亮的框架才更接近问题的本质。关于这一点，必须要提一下近年来最让人醍醐灌顶的大作——生成对抗网络(Generative Adversarial Network, GAN)。图3 生成对抗网络模型GAN要解决的，就是让机器根据数据学会画画、写文章等创作性问题。机器画画的目标函数怎么定义？听起来让人一头雾水。我们早年做类似的语音合成问题时，也没有什么好办法，只能通过人一句一句听来打分。令人拍案叫绝的是，伊恩·古德费洛(Ian Goodfellow)在定义这个问题时，采取了一个巧妙的框架（见图3）。既然靠人打分费时费力，又不客观，那就干脆让机器打分吧！好在让机器辨认一幅特定语义的图画（比如说人脸），在深度学习中已经基本解决了。假设我们已经有一个能打分的机器D，现在要训练一个能画画的机器G，那就让G不断地画，D不断地打分，什么时候G的作品在D那里得分高了，G就算是学会画画了。同时，D在此过程中也因为大量接触仿品而提升了鉴赏能力，可以把G训练得更好。有了这样定性的思考还不够，这样一个巧妙设计的二人零和博弈过程，还可以表示成下面的数学问题：这个目标，优雅得像个哲学问题，却又实实在在可以追寻。当我看到上述公式时，顿时觉得教会机器画画是个不太远的时间问题。如果你也能对这样的问题描述感到心旷神怡，就能体会为什么这才是最难的一步。一个团队的定海神针，就是能把问题转化成目标函数的那个人——哪怕他连开源工具都不会用。花100万找到这样的人，可真是捡了个大便宜。在机器学习领域，算法工程师脚下的进阶之路是清晰的：当你掌握了工具、会改造模型，进而可以驾驭新问题的建模时，就能成长为最优秀的人才。沿着这条路踏踏实实走下去，100万年薪并不是遥不可及的目标。脚注请查看【阅读原文】。 作者：刘鹏360集团架构师。互联网大数据与商业化专家，所著《计算广告》为业界第一本专著，被BAT、小米、搜狗等公司高层联名推荐，成为各大互联网公司数据与商业化部门广泛采用的教程。曾担任多家公司大数据与商业化战略顾问。bmchs@139.com via: https://mp.weixin.qq.com/s?times ... ignature=3oKzeMMSwR*2sx-zpVVj6Pt*7gKSbSVr8pUtHcvw*abUvGQ2uBh-8P-F6vz9l7mDg2ERiDXFMj6kO5McRelM0bXtfdXQXFsp-9ozS7lRiYNyWb8zop7D9nMVCYx12r5UuYHQitfdOMM1zFF0R2z8elMHBbiNEPTPpFgFSjnJvCw=
[img=20,20][/img] wx:陈孝良 网页链接 2017-10-18 23:26
公告板 深度学习 视觉 算法 语音 资源 自然语言处理 Kaggle Thomas L. Friedman 陈孝良 行业动态 课程 书籍 问题
「CCCF专栏 | 失落的兴奋，人工智能创业的另一面是什么」点击上方“中国计算机学会”轻松订阅! 来源：《中国计算机学会通讯》2017年第10期《专栏》 2017年7月，国务院发布了《新一代人工智能发展规划》，鼓励高校、科研院所与企业等机构合作开展人工智能学科建设。在此背景下，中国科学院大学率先成立了人工智能技术学院，按此发展，人工智能成为一级学科也将是大概率事件。 苹果公司在9月新发布的全面屏的iPhone X采用了面容ID(Face ID)技术，这让计算机视觉(CV)领域的创业者兴奋不已。但是，此人脸识别非彼人脸识别，苹果的Face ID并没有采用普通摄像头的方式，而是采用红外主动识别技术，这样可以做到三维立体识别，增强安全系数。尽管这项技术仍然存在易受光线干扰的缺点，但苹果公司却总能引起产业界的技术变革，这不得不让人刮目相看。但也不都是令人兴奋的消息，也有负面新闻，比如斯坦福大学的几个研究人员发表了一篇论文，通过深度学习判断一张照片上的人物是否有同性恋倾向，这些研究人员甚至还希望通过照片判断人的智商和政治倾向。这就是把人工智能奉为圭臬的表现，这和我们古代的看面相算命又有什么差别？何况深度学习也根本做不到这一点。另外，还有几则或许已经被人忘却的消息：2017年初，微软收购了主要从事自然语言处理(NLP)的人工智能创业公司Maluuba；3月，谷歌收购了Kaggle；5月，从移动应用搜索转型人工智能助手的Quixey正式关闭，苹果以2亿美元收购了Lattice；6月，新思科技(Synaptics)宣布收购科胜讯系统公司(Conexant Systems)和美满电子科技公司(Marvell Technology Group)的多媒体业务；7月，谷歌收购了印度的人工智能公司Halli Labs，百度收购了硅谷初创公司KITT.AI。AI创业好像一片热闹，但是若深入思考，这却是一个非常可怕的现象，因为AI创业公司但凡有点成绩，基本上都已被巨头收入囊中。被收购或者倒闭，似乎成了AI创业公司无法逃脱的宿命。那么，坚持独立发展的道路又会怎样？这可以从语音识别领域的国内外两大巨头的处境来分析。国内的语音识别龙头科大讯飞，稳定的盈利可能是它当前最大的尴尬。国外语音识别的老牌企业Nuance，转型的压力一度让它陷入困境，其股价也始终在低位徘徊。2017年，似乎也是资本市场蛰伏的一年，虽然“关注”很热闹，但是真正落地投资的案例却不是很多。也许很多风险投资企业也开始思考，当第一波技术公司获得投资以后，这些企业如何才能落地？当投资人进入冷静思考时期，说明这个市场确实出现了一些隐忧。AI创业能不能有第四条路这就是现实。倒闭、被收购、独立发展，似乎各有痛处，这个时候被收购就是最佳选择，所以很多知名的人工智能创业公司选择了出售公司，包括鼎鼎大名的DeepMind。即便坚持独立发展的公司，比如Nuance，其实也是在难以出售的情形下的唯一选择。那么，有没有第四条路可走？算法和数据不是关键问题有一点要非常清晰，人工智能企业核心价值的算法和数据，并不是第四条路的关键。承认这点比较痛苦，因为科技型创业公司经常会有一个误区，即仅以技术论价值。当然，也还有很多公司在强调数据，但是这也不是绝对的门槛。技术永远在更新迭代，当技术不能带来颠覆性变革的时候，技术的核心价值就会打折扣。当然，绝不是否认技术的价值，这里只是从企业某个阶段的发展方面进行探讨。事实上，技术才是唯一可以打破现有商业平衡的绝对力量。再看数据。大数据其实是令人比较纠结的一个领域，更多的数据意味着更大的投入。但是，只有相对少量的数据才能产生价值，那么，这就意味着可能会产生更大的浪费。有价值的数据对于企业来说绝对是有帮助的，对技术提升也至关重要，但是，这就意味着关键吗？困境中的一些巨头企业好像也不缺乏数据。变现才是商业核心那第四条路的核心又是什么？不如先回归一下商业的本质，GE的总裁杰克·韦尔奇曾经写过一本《商业的本质》，关于这个问题可以说很多，不如通俗的简单化理解：赚钱。谈到赚钱就有必要先分析一下历史和当前企业的主要赚钱模式。第一种可以归结为产品，也就是卖货模式。这是最原始和最直接的商业模式，通过公司劳动创造的产品直接销售给客户变现。该模式又可以划分为B端和C端两种产品模式，B端产品一般面向行业，比较依赖于关系营销，C端产品一般面向大众消费，比较依赖于渠道营销，包括线上和线下。这类模式的核心是产品要有量能，其弊端就是容易积压产品，曾经很多管理学课程都是研究库存问题。事实上，大部分公司都是这种模式，包括一些巨头比如英特尔、苹果、华为、联想和小米等等，联想比较典型，其核心收入就是销售个人计算机及相关产品。第二种是授权模式。这种模式并不提供实体（光盘可以不算），而仅以复制数量作为计费依据。最具典型的就是微软这类软件企业，通过销售Windows操作系统和Office办公软件赚取利润。这类模式的优点是随着用户规模的扩大，其研发或者产品成本可以摊薄，这对企业的利润贡献极大。比如微软的营业额其实并不显著，但是其影响力非同凡响，这也造就了比尔·盖茨的首富地位。但是这种模式的缺点也很明显，若不能形成垄断地位，这种模式很难赚钱，因为这种模式的回款麻烦很大。比如杜比，这也是一家典型的授权公司，但是其核心并不是技术，而是好莱坞长期绑定的品牌，即便如此，杜比也要依赖于芯片公司的绑定才能确认其授权数量。在互联网时代，这种商业模式稍好一些，但是仍然存在回款太难的尴尬。第三种是广告模式。所有电视广播里面都要插播广告，这是电视台和电台的主要营收渠道。互联网企业对于广告的依赖更是严重，比如新浪、搜狐等，甚至百度、谷歌、脸书(Facebook)，主要收入也要依赖广告。事实上，广告模式渗透到各个行业，很多传统公司的生存也是依赖于广告，广告也是产品公司投入很大的一部分。这个模式的弊端是一定要有流量，CCTV的广告经常拍出天价，头部效应非常显著。互联网当前争夺的核心是流量，广告就是其背后的巨大价值，所以互联网企业不敢错过任何互联网入口，这意味着未来流量的昂贵。第四种是服务模式。服务的概念外延很大，基本上不属于前三种模式的都可以归为这一类。广义来说，苹果的商店、百度的搜索、阿里的交易、腾讯的社交，都属于这种服务，但是服务未必就能直接变现，互联网企业更喜欢免费服务的模式，然后通过广告或者分发来变现，典型的“羊毛出在狗身上，猪来买单”的逻辑。游戏行业特殊一些。客户端游戏以前主要靠授权模式变现，网络游戏和手机游戏基本都是服务模式，依赖卖等级、卖道具等方式变现。互联网最成功的就是把服务迁移到线上，大幅降低了服务的成本，实现了从1到100的快速扩张，并且规避了扩张过程中的成本问题。但是，以技术和数据起家的人工智能又该怎样变现？人工智能企业直接做产品销售吗？这比较困难，因为技术公司一般缺乏营销理念和渠道优势，产品公司一般也很难转型为技术公司。但这并不意味着技术和产品之间不可逾越，苹果和华为就是典型的例子，它们的技术和营销同样厉害。从很多案例来看，技术公司最容易选择的方向就是延伸到产品公司。有些公司依靠售卖数据来赚钱，但是这毕竟是短期的营收模式，实际上存在竞争的时候，这种模式很难维持理想的利润。人工智能企业最直接的商业模式就是授权，技术类企业一开始都会选择这种模式。但是前面也提到了，这种模式的难点是回款，当碰到竞争的时候价格战就会伤害这种模式，这将严重阻碍公司规模的扩大。依赖广告变现显然也很难。人工智能与传统科技最大的区别就是人工智能非常强调实时和交互，这对于广告模式来说就很致命，比如秀场直播。做个植入广告还可以，如果插播一段无关的广告，就会影响正面逻辑。所以直播平台更倾向于平台抽成的模式，这实际上是一种服务的变现。服务变现似乎是人工智能落地的最佳商业模式。服务变现也是互联网企业理解最为透彻的模式，有些企业甚至将这种模式从线上走到了线下。但是人工智能怎样才能依靠服务变现呢？熬到了黎明或许碰上阴天人工智能企业都坚信，当有了流量以后，变现就是自然而然的事情。但是令人担扰的是，从PC时代到移动时代，有巨头衰落了，也有巨头倒下了。从当前来看，我们认为一切商业模式都是清晰自然的，但是回退到10年前、20年前呢？不能以现在的眼光评判历史的决策，局限才是大部分决策的本质。人工智能这波浪潮，不是第一波，估计也不会是最后一波，人工智能企业最怕的就是好不容易熬到了黎明，或许碰上的还是个阴天。新技术的驱动必然会打破现有商业格局的平衡，这就不仅仅是技术的更新换代，很可能还是商业模式的变迁，或许核心属性没有改变，但是外延肯定是会有所变化的。决定公司高度的是最短板对于人工智能创业，如果不深入思考做出快速调整，很可能就会在兴奋中失落。技术和数据只是一家公司起步的突破口，有了船票未必能登上诺亚方舟，登船之路可能荆棘密布，决定一家公司高度的永远是公司的最短板。创业不是一件头脑发热简单的事情，国家的支持与媒体的关注带动的是一片产业，不是某家公司，而认知自身的缺陷本身就是一件极其困难的事情，何况还需要创业者及时地调整适应。比如，大部分人工智能创业公司的创始人都是技术出身，从理念和架构上，很容易不重视营销团队。更是有很多创业者，利用众筹销售一部分产品后，进驻天猫商城和京东就认为自己是营销高手。事实上，真正的营销和管理一样，也是一门科学。公司的架构中，技术、营销、管理永远是并列的三架马车。营销整合了供应链、产品链、客户链和媒体链，是公司变现最直接的渠道。即便在技术领域也有很多误解，很多投资人和媒体都觉得深度学习是人工智能企业的核心所在，但真正落地的时候，未必就是这样。公司毕竟不是国家的研究机构和高校，特别是创业公司，承担不起科研的任务，更多的则是技术的产品化，这就需要大量的工程人员配合。实际上，让机器有多么智能，就意味着公司要投入多少人力和资金的。一家伟大的公司，从来不能依靠独行侠。焦虑的还有AI的投资人创业往往是冲动的，这是比投资还要冒险和疯狂的事情，过于理想的保守主义很难突破创业的层层障碍。冷静与兴奋，是创业者最难把控的两个极端。创业不可能有终点，创业之路也是创业者的自我修炼之路。当然，创业者都是令人尊敬的，即便失败了，也为社会的进步积累了经验，为下一波创业者探索了道路。创业之路更多的是坎坷和荆棘，创业之心更多的是无奈和无助，鲜花和掌声的背后，更多的是泪水和挫折。于是，这种焦虑自然传导到了最为关注人工智能的投资人领域。2017年以来，随着各种投资人的关注，投资领域的竞争也日趋激烈。对于创业的各种困境，投资人也逐渐看得明白，而政府和银行基金的加入也让小型风险投资公司更加痛苦。事实上，具有战略眼光的风险投资公司已经提前完成投资布局，纠结犹豫的风险投资公司或许错过了人工智能技术红利的投资窗口。等到产品或者平台出现的时候，才发现在这两个领域占据绝对优势的所有巨头都已经布局把控结束，创业公司的生存空间被严重地挤压。当然，技术的颠覆往往超过了预期，比如苹果iPhone X采用了红外主动识别作为Face ID的主要技术，这本来是个令人鼓舞的消息，但是却让基于普通摄像头的计算机视觉创业很尴尬，这让激进的投资人焦虑和不安。毕竟，投资人更加关注的还是内部收益率(IRR)的数值。焦虑的气氛弥漫在创业和投资的天空。托马斯·弗里德曼(Thomas L. Friedman) 认为世界是平的，但是真的这样吗？ 作者：陈孝良 中国科学院声学研究所副研究员。bob@xisound.com via: https://mp.weixin.qq.com/s?times ... ignature=3oKzeMMSwR*2sx-zpVVj6Pt*7gKSbSVr8pUtHcvw*abUvGQ2uBh-8P-F6vz9l7mDg2ERiDXFMj6kO5McRelM0bXtfdXQXFsp-9ozS7lRiYNkFg42wXUmiIGe6sV9dJJ3coVShBSfrx03ysm8AsxXco*XUcH2weyCRG6GioTIuIw=
[img=20,20][/img] wx: 网页链接 2017-10-18 23:16
会议活动 视觉 应用 语音 自然语言处理 GPU James Lewis 常佩琦 行业动态 会议 活动 机器翻译金融 数据质量 王丽阳 夏志金 信息检索 智能汽车
「【人工智能进十九大报告】盘点中国智能+4大优势和一个短板」【AI WORLD 2017世界人工智能大会倒计时 21 天】 点击文末阅读原文，马上参会！抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026 大会官网：http://www.aiworld2017.com 新智元报道 作者：常佩琦 弗格森 【新智元导读】“十九大”今天在北京开幕。人工智能被写入了大会报告中，作为近来最具有代表性和突破性的科技力量之一，人工智能毫无疑问是接下来中国技术发展的重要一环。《南华早报》本月16日报道，在这个由前沿科技创新驱动的时代，国务院7月发布的《新一代人工智能发展规划》或将决定中国的国际地位。本文将介绍当下中国人工智能发展的优势和劣势。 今天，中国共产党第十九次全国代表大会开幕。我们来试着划一下AI的重点。 习近平此前多次提到，技术是创新的关键，“我国经济发展要突破瓶颈、解决深层次矛盾和问题，根本出路在于创新，关键是要靠科技力量。科技进步对中国经济发展的贡献率已经上升到56.2%。” 在今天代表第十八届中央委员会向党的十九大作报告时，习近平提到：“建设现代化经济体系，必须把发展经济的着力点放在实体经济上，把提高供给体系质量作为主攻方向，显著增强我国经济质量优势。加快建设制造强国，加快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度融合，在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成新动能。支持传统产业优化升级，加快发展现代服务业，瞄准国际标准提高水平。促进我国产业迈向全球价值链中高端，培育若干世界级先进制造业集群。” 新智元认为，人工智能和实体经济深度融合，是AI产业的冲锋号，也是传统产业升级的风向标。 作为近来最具有代表性和突破性的科技力量之一，人工智能毫无疑问是接下来中国技术发展的重要一环。《南华早报》本月16日报道，在这个由前沿科技创新驱动的时代，国务院7月发布的《新一代人工智能发展规划》或将决定中国的国际地位。 同时，英国金融时报 FinancialTimes 亦撰文指出，中国在寻求全球AI霸主地位，文章列举了中国在发展AI上的数项优势和一些不足，结合此前国务院颁发的《新一代人工智能发展规划》和媒体分析，我们一起来看看当下中国人工智能发展的真实情况是怎么样的？ 《新一代人工智能发展规划》中明确表示了中国称霸人工智能的壮志雄心：三年内人工智能总体技术与世界先进水平同步；2025年，人工智能基础理论实现重大突破，部分技术与应用达到世界领先水平；2030年，AI理论、技术、应用总体达到世界领先水平，成为世界主要人工智能创新中心，人工智能核心产业规模超过1万亿元，带动相关产业规模超过10万亿元。 中国有7.3亿网民，几乎是美国的两倍，而且中国网民更加懂技术。一位美国技术人员说，“中国的移动应用程序比其他国家超前几年。中国就像一个巨大的实验室，能够尝试各种令人激动的人工智能app。在这里，我们能看到各种各样的消费者行为，美国在这方面要滞后许多。“ “（中国的AI研究员）不仅仅在数据数量上，在数据质量上也大大超过其竞争对手。”淡马锡控股公司旗下的一家风投公司合伙人夏志金（音译）表示，中国人对智能手机的依赖程度高，因此产生了大量的有价值的用户数据。 凭借海量数据，中国企业已在语音识别、语言翻译、精准推送广告、无人车驾驶等领域取得领先地位。科技巨头百度、阿里巴巴、腾讯对中国公民买了什么、去哪里、和谁聊天都了如指掌。 此外，FT认为，作为全球第二大经济体的中国正在向人工智能产业源源不断地投入大量资金和政治资本，以确保企业、政府、军队跃升为人工智能技术的全球领先者。 许多地方正在人工智能上投入数以亿计的美元。6月份，天津市政府表示计划提供50亿美元的资金来支持人工智能行业，而且还划出了一片20多平方公里的土地来建设“智能产业园”。 与此同时，最大的竞争对手却在削减科学资金。Trump政府提交的预算案建议削减一部分支持AI研究机构的资源。美国国家科学基金会今年也未增加费用。 美国战略与国际问题研究中心高级研究员James Lewis表示，“中国人投入几十亿的资金，而美国只投入几百万。中国的支出比美国多1000倍，美国很难获胜。” 有人认为中国在人工智能行业的效率正在提升。百度创始人之一雷鸣表示，“政府投入资金的方式越来越聪明。之前政府只是给研究项目、大的搜索引擎或者学校提供资金。现在更倾向支持给那些更活跃、能真正研发产品和服务的私人公司。” 根据腾讯研究院8月发布的公开报告，目前在AI领域，美国领先，中国次之。不过，中国在该领域的获投率（企业获得投资的比例）超过美国，呈后来居上之势。 报告也称，2016年，中国人工智能的融资额与美国的差距缩短，但在2017年又被拉大，出现了马太效应。不过，互联网公司巨头及活跃的VC（风险投资）、PE（股权投资）正在加码对中国AI领域的资本布局。 根据清科集团私募通数据，2010年到2017年5月，中国AI领域共发生2218起投资事件，涉及投资金额达668.42亿元人民币。 AI发展中最重要的四个因素分别是人才、数据、基础设施和芯片。高盛认为，中国已经拥有了其中的3个要素。 据高盛统计，与亚马逊、谷歌、微软、苹果和Facebook相比，百度为机器学习（MachineLearning ）科学家提供的基本年薪为12.6万美元，仅位列六家企业中第五位。Facbook凭借16万美元的年薪位居第一。但是如果算上每年的分红和权益，百度则依靠22万美元跃居第三，仅次于Facebook的27.3万美元和微软的24.4万美元。 但也有声音认为中国缺乏人才。领英网站最近的一次调查显示中国只有5万人从事人工智能相关的技术工作，远远落后于美国（85万人），是英国和印度从事AI技术工作人数的三分之一。 据 FinancialTimes 报道，去年中国人工智能领域的论文数量第一次超过28个欧盟国家发表AI论文总和。 Elsevier’sSciVal和Scopus数据显示，去年中国人工智能领域的发表论文数量增加了近20%，而欧盟和美国的论文发表数量降低。2016年中国有4724篇人工智能论文发表，而欧盟国家的发表总和为3932篇。 然而，基础研究的质量仍然堪忧。尽管中国在量上取胜，但在被引用率top5的论文数量方面，中国仍落后于欧盟。但同时也超过了美国。 此前高盛曾发布关于中国人工智能产业发展的调研报告，报告认为，在AI发展中，中国只差一个环节：GPU。 近年来，负责图像处理的GPU已经成为主流。然而GPU行业拥有极高的行业壁垒，全球范围内由三大巨头英特尔、AMD和Nvidia占据主导。2015年，美国政府宣布禁止英特尔和其他芯片巨头向中国出售用于科研的高端处理器，对于一直以来依赖国外芯片的中国而言是个打击。 不过，在研究领域，中国自主研发的神威·太湖之光计算机已经成为全球第一的超级计算机。高盛认为，虽然中国超级计算机的商业化还未开始，但是随着时间的推移，中国对国外芯片的依赖会慢慢降低。 2017年11月8日，新智元精心筹备的 AI World 2017世界人工智能大会将在北京国家会议中心举办。这是一场汇聚了全球AI大咖的顶级峰会。 在大会上，中国最顶级的人工智能大师将和国外的人工智能领袖一起，共同奉献一场精彩的AI盛宴。关于中国人工智能技术、应用、行业和政策，请到大会现场一探究竟。 目前，大会议程已经发布： 举办时间：2017年11月8日地点：北京国家会议中心官网：http://www.aiworld2017.com参会（购票）：http://www.huodongxing.com/event/2405852054900?td=4231978320026详情请点击“阅读原文”，在活动行页面浏览。商务合作及媒体合作联系：舒畅 电话：18810485184 微信：18810485184票务咨询联系：王丽阳 电话：18747265175 微信：Dr-wly 想深入了解中国AI的最新进展？点击“阅读原文”，马上抢票！ 【AI WORLD 2017世界人工智能大会倒计时 21天】点击图片查看嘉宾与日程。大会门票销售火热，抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026【扫一扫或点击阅读原文抢购大会门票】AI WORLD 2017 世界人工智能大会购票二维码： via: https://mp.weixin.qq.com/s?times ... ignature=3oKzeMMSwR*2sx-zpVVj6N*xkYd8pCrJgDQ66fq4LbpcN7RUiBo3Yw6kE1dzdt2pt6VUsmuMyDY0qenXMQl91uEj40Ej98lgxPqraGHllGEGxmPcT2spwCWcTdZV8oGIGmT1Mte8r7mZGi0QNLmgi6f2vKye5ehq8RWXqzCIbN4=
[img=20,20][/img] wx: 网页链接 2017-10-18 23:16
会议活动 深度学习 视觉 算法 David Xianfeng Gu Feng Luo Ian J Jian Sun Kehua Su Leon Bottou Li Cui Martin Arjovsky Na Lei Tianqi Wu Tung Yau Xianfeng Gu Yann Brenier 分布式学习 会议 活动 可视化 丘成桐 神经网络 凸优化 张首晟
「虚构的对抗，GAN with the wind ，丘成桐团队近期研究成果」【AI WORLD 2017世界人工智能大会倒计时 21 天】 抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026 大会官网：http://www.aiworld2017.com 新智元推荐 来源：老顾谈几何 授权转载作者：顾险峰 【新智元导读】在过去的两三年中，对抗生成网络（GAN）获得了爆炸式的增长，其应用范围几乎涵盖了图像处理和机器视觉的绝大多数领域。本文分析了WGAN的理论框架，然后简介最优传输理论，解释生成器和判别器的主要任务，再介绍凸几何中的基本定理，初步试验结果比较了WGAN和几何方法。 在过去的两三年中，对抗生成网络（Generative Adersarial Network，GAN）获得了爆炸式的增长，其应用范围几乎涵盖了图像处理和机器视觉的绝大多数领域。其精妙独到的构思，令人拍案叫绝；其绚烂逼真的效果，令众生颠倒。一时间对抗生成网络引发了澎湃汹涌的技术风潮，纳什均衡的概念风靡了整个人工智能领域。 Goodfellow 【1】于2014年提出了GAN的概念，他的解释如下：GAN的核心思想是构造两个深度神经网络：判别器D和生成器G，用户为GAN提供一些真实货币作为训练样本，生成器G生成假币来欺骗判别器D，判别器D判断一张货币是否来自真实样本还是G生成的伪币；判别器和生成器交替训练，能力在博弈中同步提高，最后达到平衡点的时候判别器无法区分样本的真伪，生成器的伪造功能炉火纯青，生成的货币几可乱真。这种阴阳互补，相克相生的设计理念为GAN的学说增添了魅力。GAN模型的优点来自于自主生成数据。机器学习的关键在于海量的数据样本，GAN自身可以生成不尽的样本，从而极大地减少了对于训练数据的需求，因此极其适合无监督学习；GAN的另外一个优点是对于所学习的概率分布要求非常宽泛，这一概率分布由训练数据的测度分布来表达，不需要有显式的数学表示。GAN虽然在工程实践中取得巨大的成功，但是缺乏严格的理论基础。大量的几何假设，都是仰仗似是而非的观念；其运作的内在机理，也是依据肤浅唯像的经验解释。丘成桐先生率领团队在学习算法的基础理论方面进行着不懈的探索。我们用最优传输（Optimal mass Transportation）理论框架来阐释对抗生成模型，同时用凸几何（Convex Geometry）的基础理论来为最优传输理论建立几何图景。通过理论验证，我们发现关于对抗生成模型的一些基本观念有待商榷：理论上，Wasserstein GAN中生成器和识别器的竞争是没有必要的，生成器网络和识别器网络的交替训练是徒劳的，此消彼长的对抗是虚构的。最优的识别器训练出来之后，生成器可以由简单的数学公式所直接得到。详细的数学推导和实验结果可以在【7】中找到。下面，我们就这一观察展开详细论述。我们首先分析WGAN的理论框架；然后简介最优传输理论，解释生成器和判别器的主要任务；我们再介绍凸几何中的基本定理，解释凸几何和最优传输的内在联系，用计算几何的语言来解释最优传输框架下的基本概念；初步试验结果比较了WGAN和几何方法；最后我们进行一些扼要的讨论。 大家对于随机数的生成原理耳熟能详，GAN本质上可以被视作是一个规模宏大的随机数生成器。我们考察最为简单的线性同余生成算法，这里是比较大的整数，那么构成了单位区间上的均匀分布（uniform distributed）伪随机数。我们再来生成单位圆盘上的高斯分布的随机采样点：首先生成，然后定义映射。由此可见，我们可以通过一个变换将均匀分布变换成高斯分布。如果我们将概率分布看成是某种质量密度，映射会带来面积的变化，因此带来密度的变化，这样就从一种概率分布变换成另外一种概率分布。图2. GAN本质上是将一种概率分布（高斯分布）变成另外一种概率分布（人脸图像）。在图像生成应用中，GAN模型本质上就是将一种固定的概率分布，例如均匀分布或者高斯分布，变换成训练数据所蕴含的概率分布，例如人脸图像的分布。GAN的理想数学模型如下：我们将所有图像构成一个空间，记为图像空间，每一张图像看成是空间中的一个点，。我们用来表示图片是否表达一张人脸的概率，那么就是GAN要学习的目标概率测度。在工程实践中，我们只有一些人脸图像的样本，这些样本构成了经验分布作为的近似。经验分布的公式表达为： 。绝大多数图片并不是人脸图像，因此的支撑集合是图像空间中的一个子流形，的维数远远小于图像空间的维数。支撑集流形的参数空间等价于特征空间，或者隐空间（latent space）。编码映射（encoding map）就是将映到特征空间，解码映射（decoding map）就是将特征空间映到支撑集流形。图3. WGAN【3】的理论框架。假设在隐空间有一个固定的概率分布，例如高斯分布或者均匀分布。我们用一个深度神经网络来逼近解码映射，将映成了图像空间中的概率分布,我们称为生成分布。判别器的核心任务是计算训练数据分布和生成分布之间的距离；生成器的目的在于调节使得生成分布尽量接近数据分布。那么，如何计算分布间的距离呢？如何最优化映射呢？这需要用到最优传输理论。 给定带有概率测度的空间和，具有相同的总质量，。一个映射被称为是保持测度，如果对于一切可测集合，我们都有,记为。给定距离函数，代表两点间的某种距离，传输映射的传输代价函数为：。蒙日问题 法国数学家蒙日于18世纪提出了最优传输映射问题：如何找到保测度的映射，使得传输代价最小，这种映射被称为是最优传输映射（Optimal Mass Transportation Map）。最优传输映射对应的传输代价被称为是概率测度之间的Wasserstein距离：。Kantorovich 对偶问题 Kantorovich证明了蒙日问题解的存在性唯一性，并且发明了线性规划（Linear Programming），为此于1975年获得了诺贝尔经济奖。由线性规划的对偶性，Kantorovich给出了Wasserstein距离的对偶方法：等价的，我们将换成的c-变换，，那么Wasserstein距离为：这里被称为是Kantorovich势能。WGAN模型 在WGAN【3】中，判别器计算测度间的Wasserstein距离就是利用上式：这里距离函数为，可以证明如果Kantorovich势能为1-Lipsitz，那么。这里Kantorovich势能由一个深度神经网络来计算，记为。Wasserstein距离为 。 生成器极小化Wasserstein距离，。所以整个WGAN进行极小-极大优化：。生成器极大化，判别器极小化，各自由一个深度网络交替完成。在优化过程中，解码映射和Kantorovich势能函数彼此独立。Brenier方法 Brenier理论【4】表明，如果距离函数为 ，那么存在凸函数，被称为是Brenier势能，最优传输映射由Brenier势能的梯度映射给出，。由保测度条件，Brenier势能函数满足所谓的蒙日-安培方程： 。 关键在于，Brenier势能和Kantorovich势能满足简单的关系： 。 判别器计算Kantorovich势能，生成器计算Brenier势能。在实际优化中，判别器优化后，生成器可以直接推导出来，不必再经过优化过程。 最优传输的Brenier理论和凸几何理论中的Alexandrov定理彼此等价，它们都由蒙日-安培方程来刻画。图4. Minkowski问题和Alexandrov问题。Minkowski 定理 如图4所示，左帧显示了经典的Minkowski定理：给定每个面的法向量和面积，满足条件，那么凸多面体存在，并且彼此相差一个平移。这一定理在任意维欧氏空间都成立。Alexandrov 定理 右帧显示了Alexandrov定理【2】：假设是平面上的一个凸区域，是开放凸多面体，每个面的法向量给定，每个面在上的投影面积给定，满足，那么凸多面体存在，并且彼此相差一个垂直平移。这一定理在任意维欧氏空间都成立。Alexandrov于1950年代证明了这个定理，他的证明是基于代数拓扑的抽象存在性方法，无法转化成构造性算法。变分原理 我们在【6】中给出了一个基于变分原理的构造性算法。假设第i个面的梯度给定，高度未知，这个面的方程为。这些面的上包络（upper envelope）构成了Alexandrov凸多面体，也是凸分片线性函数 的图（graph），这里向量代表所有支撑平面的高度。上包络向平面投影，得到的一个胞腔分解， 胞腔是第i个面在上的投影，其面积记为。那么，我们定义Alexandrov势能为：.可以证明Alexandrov势能为凹函数，其极大值点给出的高度，就是Alexandrov定理中的解。 图5. Alexandrov定理和最优传输映射。凸几何中的Alexandrov定理和最优传输理论中的Brenier定理本质是一致的，如图5所示，带测度的源区域为，目标为带狄拉克测度的离散点集, 我们构造一个Alexandrov凸多面体，每个面的投影面积满足 ，那么这个凸多面体对应的分片线性凸函数就是Brenier势能函数，梯度映射 就是最优传输映射，Alexandrov势能函数就是传输代价，也等价于Wasserstein距离，即。 图6. Power DiagramBrenier定理和Alexandrov定理可以用计算几何中人所周知的Power Diagram语言来描述，这样有利于进一步理解和算法设计。如图6所示，我们为每个目标点配上一个红色的小圆，半径的平方被称为是power 权重。那么power距离定义为由此，我们定义Power Diagram ，这里通过调节power 权重，我们可以使得每个胞腔的测度等于。综上所述，我们有如下最优传输的几何解释：生成器：最优映射等价于Power胞腔分解，将每个胞腔映到，判别器：Wasserstein距离中中的等于power 权重，判别器：Wasserstein距离Kantorovich势能等于power距离，生成器：Brenier势能等于Power Diagram的上包络。 WGAN的主要功能有两个：1. 编码、解码实现从隐空间到图像空间的变换；2. 概率测度的变换。这两个任务都是高度非线性的，关于测度变换数学上已经建立了严格的基础理论，我们可以进行定量研究；关于从隐空间到图像空间的变换，目前的理论基础比较薄弱，我们只能进行定性比较。为此，我们设计了两个尽可能简单的实验，来分别验证这两个功能：测度变换实验 给定实验数据分布 ，我们的几何算法给出了精确解，我们试图用WGAN来解决同样的问题，进行详细比较。为了排除编码、解码映射的影响，我们设计隐空间和图像空间重合，因此WGAN只计算了测度变换。我们在这里，进行了两个实验，第一个实验的训练样本只有一个团簇，WGAN的生成分布和数据分布吻合得非常好。图7. WGAN计算结果为了可视化计算结果，我们在平面上设计了非常简单的实验，隐空间的概率分布为均匀分布。如图7所示，蓝色点代表数据样本，橙色点代表WGAN生成的样本。数据样本分成两个团簇，符合Gaussain Mixture的分布。我们看到WGAN最后的学习结果并不令人满意，橙色点的分布和蓝色点的分布相距甚远。图8.几何方法计算结果图8显示了几何方法生成的结果：每个胞腔映到一个具有同样颜色数据样本，上包络的面和它的投影胞腔具有同样的颜色。我们可以看到，首先最优传输映射将单位圆盘映射到所有的数据样本；其次，所有的power 胞腔都具有相同的面积，这意味着几何方法完美地生成了经验分布 。我们注意到，Brenier势能函数（上包络）有一个尖脊，将梯度分成了两个团簇，因此能够处理多个团簇的分布逼近问题。我们认为基本原因如下：WGAN用深度神经网络来构造测度变换映射，深度神经网络所能表达的函数为线性映射和ReLu的复合，因此必为连续映射。但是，由于数据样本构成为多个团簇，真正的最优传输映射必是非连续的映射，因此问题的解并不包含在深度神经网络构成的泛函空间中。图9. 弥勒佛曲面图10. 几何方法构造的编码映射：左侧是保角变换，右侧是保面积映射，两者之间相差一个最优传输映射解码映射 我们设计的第二个实验更为复杂。我们将三维欧氏空间视为图像空间，弥勒佛曲面作为子流形，二维欧氏平面作为隐空间。我们的目的是做一个生成器，生成在曲面上的均匀分布。这里，子流形的几何比较复杂，我们先用几何中的Ricci流【5】的方法计算编码映射，将曲面映入到特征空间上, 映射将曲面的面元映到隐平面上面, 诱导了平面上的测度由曲面的共形因子来描述，如图10左帧所示。然后，我们计算隐空间到自身的最优传输映射，将均匀分布映射到由曲面共形因子定义的概率测度（即曲面上的面元），这样就得到从曲面到隐平面的保面元映射，得到图10右帧所示。图11. 共形映射诱导的曲面上非均匀分布图12. 最优传输映射诱导的曲面上均匀分布从图11我们看到，隐空间上的均匀分布被共形映射拉回到上，不再是均匀分布；图12显示，复合了最优传输映射之后，隐空间上的均匀分布被保面元映射拉回到上依然是均匀分布。由此，我们用几何方法构造了曲面上均匀分布的生成器。但是，我们用同样的数据样本来训练WGAN模型，但是很难得到有意义的结果。如果读者有兴趣用其他深度学习模型进行研究探索，我们非常乐于分享这些数据，共同探讨提高。 在最优传输理论中，如果距离函数是，这里是严格凸的函数，那么判别器的Kantorovich势能函数蕴含着最优传输映射，因此判别器和生成器之间的竞争没有必要。生成模型的最终目的是生成的概率分布，对于同一个目标概率分布，有无穷多个传输映射都可以生成。我们可以选择计算最为简单的一个，即距离所诱导的最优传输映射，因为这个映射具有鲜明的几何意义。理论上，概率分布之间的变换可以在图像空间中完成，也可以在隐空间中完成。但是在实践中，隐空间的维数远低于图像空间，因此应该在隐空间中施行。因此，生成模型具有两个任务：一个是计算编码解码映射，另一个是概率分布变换。目前的模型，将这两个任务混同，因此难以分析。 我们的初步实验表明深度神经网络无法表达非连续映射，但是最优传输映射往往是有间断点的，因此目前的GAN模型需要进一步拓展。对于降维的编解码映射，目前完备的基础理论尚未建立起来，很多方面比较含混原始，例如GAN的收敛性验证，收敛阶估计，误差分析和控制。 我们计划用更为精细的实验来详尽分析，更期待看到基础理论方面的长足发展。 我们这里给出了最优传输映射观点下GAN模型的几何解释，指出了生成器和判别器之间的对抗竞争和交替训练可以被省略，而用显示的数学关系来取代。GAN模型主要任务分为编解码和概率测度变换，概率测度变换可以用透明的几何算法来解释并改进。初步试验结果显示了GAN模型构造的函数空间具有一定的局限性，无法表示经验数据的分布。 长期以来，丘成桐先生的团队坚持用几何的观点来阐述和改进深度学习模型。早在2017年2月初，笔者就撰文写了“看穿机器学习的黑箱”系列，（可以查阅【I】，【II】,【III】），这些文章引起了很大的反响。许多学者和科研机构和团队成员联系，邀请我们前去给报告，我们将会在几个大会上详细解释我们的工作：全国计算机数学会议（10月20日，湘潭），2017中国计算机科学大会（10月26日，福州）第二届智能国际会议（10月27日，ICIS2017，上海）。我们和许多专家学者进行过讨论深入交流，特别是得到张首晟先生的鼓励，我们才总结成文，在此一并致以谢意！详细的数学推导和实验结果可以在【7】中找到。 最后，我们以张首晟先生的第一性原理来结束此文：“人类看到飞鸟遨游行空，便有了飞翔的梦想，但是早期的仿生却都失败了。理论物理指导我们理解了飞行的第一性原理，就是空气动力学，造出的飞机不像鸟却比鸟飞地更高更远。人工智能也是一样，人类的大脑给了我们智能的梦想，但不能简单地停留在神经元的仿生,而要理解智慧的第一性原理，才能有真正的大突破！” References Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks". arXiv:1406.2661 A. D. Alexandrov. “Convex polyhedra” Translated from the 1950 Russian edition by N. S. Dairbekov, S. S. Kutateladze and A. B. Sossinsky. Springer Monographs in Mathematics. Springer-Verlag, Berlin, 2005.Martin Arjovsky, Soumith Chintala, and Léon Bottou. Wasserstein generative adversarial networks. In International Conference on Machine Learning, pages 214–223, 2017. Yann Brenier. Polar factorization and monotone rearrangement of vector-valued functions. Comm. Pure Appl. Math., 44(4):375–417, 1991.Xianfeng Gu, Feng Luo, Jian Sun, and Tianqi Wu. A discrete uniformization theorem for polyhedral surfaces. Journal of Differential Geometry (JDG), 2017.Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. Variational principles for minkowski type problems, discrete optimal transport, and discrete monge-ampere equations. Asian Journal of Mathematics (AJM), 20(2):383 C 398, 2016.Na Lei,Kehua Su,Li Cui,Shing-Tung Yau,David Xianfeng Gu, A Geometric View of Optimal Transportation and Generative Model, arXiv:1710.05488. 本文转载自老顾谈几何，作者顾险峰，点击阅读原文查看原文。【AI WORLD 2017世界人工智能大会倒计时 21 天】点击图片查看嘉宾与日程。大会门票销售火热，抢票链接：http://www.huodongxing.com/event/2405852054900?td=4231978320026【扫一扫抢购大会门票】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz= ... e=0#wechat_redirect
[img=20,20][/img] wx: 网页链接 2017-10-18 18:30
公告板 会议活动 进化计算 深度学习 视觉 算法 应用 语音 资源 自然语言处理 Roberto Calandra Sundar Pichai 产业 代码 古筱凡 行业动态 何存 会议 机器翻译 机器人 集成学习 课程 强化学习 社交网络 神经网络 推荐系统 问答系统 问题 吴恩达 预测 周翔
「谷歌 AI 自动编程效率超研发工程师，作为工程师的我感到了森森的压力」TNW一则热门新闻炸开了锅：Google AutoML 系统近日居然自己写了一串机器学习代码，其效率竟然超过了专业的研发工程师。这让我们人类的优越感何存？你们这些机器人学生啊，学习能力不要太强哦作者 | 周翔人工智能可谓是目前最热门的行业，与此同时，相关人才的身价也跟着水涨船高。根据拉勾网的数据，2017 年，人工智能招聘领域，2000 人以上大公司平均薪酬 25.2k。而领英的数据则显示，截至 2017 年一季度，基于领英平台的全球AI领域技术人才数量已经超过 190 万，排名全球第一的美国相关人才总数超 85 万，相较而言，位列第七的中国只有 5 万人左右，缺口巨大。在高需求和高薪资的双重刺激下，不管是学生物的，还是学材料的，想要转战 AI 的人越来越多，这也从侧面验证了为什么吴恩达等 AI 大牛每次推出新的在线课程都能引发一轮“集体高潮”。不过，想要转行的同学要抓紧了，AI 既然可以速记员，取代翻译，未来有没有可能取代程序员呢？ 5 个月前，谷歌开发出的 AI 自主设计的深度学习模型已经比创造它的工程师还要好了，如今这个 AI 系统又更进一步，在某些复杂任务上的表现也超越了人类工程师。对此，你怎么看？在人工智能的浪潮下，深度学习模型已经广泛应用于语音识别、机器翻译、图像识别等诸多领域，并取得了非常不错的成果。但是深度学习模型的设计却是一个艰辛且繁复的过程，因为所有可能组合模型背后的搜索空间非常庞大，比如一个典型的 10 层神经网络就有种神经网络组合，为了应对这样庞大的数量级，神经网络的设计不仅耗时，而且需要机器学习专家积累大量的先验知识。GoogleNet 架构，从最初的卷积架构开始，这种神经网络的设计需要进行多年的细心试验和调试。在人工智能顶级人才匮乏的情况下，为了让机器学习模型的设计过程更加简单，提升研发效率，谷歌于今年 5 月推出了“AutoML”，顾名思义，AutoML 实际上就是一种让模型设计过程自动化的机器学习软件，该系统会进行数千次模拟来确定代码的哪些方面可以作出改进，并在改变后继续该过程，直到达成目标。为了测试 AutoML，谷歌将其自行设计的模型用在了专注图像识别的 CIFAR-10 与语言建模的 Penn Treebank 两大数据集上。实验证明，AutoML 设计的模型的性能表现与目前机器学习专家所设计的先进模型不相上下。令人尴尬的是，有些模型甚至还是 AutoML 团队的成员设计的，也就是说，AutoML 在某种程度上超越了自己的缔造者。5 个月过后，AutoML 又往前迈进了一部。据外媒 TheNextWeb 报导，在某个图像识别任务中，AutoML 设计的模型实现了创纪录的 82% 的准确率。即使在一些复杂的人工智能任务中，其自创建的代码也比人类程序员更好，比如，在为图像标记多个对象的位置这一任务中，它的准确率达到了 42%；作为对比，人类打造的软件只有 39% 。AutoML 的进展超出了很多人的预期，那么为何机器在设计深度学习模型这一任务上表现的如此出色？先让我们来了解下 AutoML 的工作原理。 AutoML 是如何设计模型的？ 作为 AI 领域的领头羊，谷歌其实暗地里做了不少尝试，包括进化算法（evolutionary algorithms）和强化学习算法（reinforcement learning algorithms）等，并且都展现了不错的前景，而 AutoML 则是谷歌大脑团队利用强化学习取得的成果。在 AutoML 架构中，有一个名为“the controller（控制器）”的 RNN（循环神经网络），它可以设计出一种被称为“child”的模型架构（子模型），而这个“子模型”在训练后可以通过特定任务来进行质量评估。随后，反馈的结果返回到控制器中，以此来帮助提升下一次循环中的训练设定。如下图所示：生成新的架构、测试、把反馈传送给控制器以吸取经验——这一过程将重复几千次，最终，控制器会倾向于设计那些在数据集上取得更好的准确性的架构。AI工程师古筱凡表示，AutoML 的运作过程实际上可以分成以下两部分：元学习的热启动：在机器学习框架中寻找效果好的算法；计算不同数据集之间的相似度，相似的数据可以采取类似的超参数。超参数优化，算法包括：Hyperopt（TPE 算法）；SMAC（基于随机森林）；Spearmint。输入不同的超参数为，以损失函数为准确率，调优器会在随机选择一些值的基础上，利用贪心算法去寻优。下图的两个模型是基于 Penn Treebank 数据集设计的预测模型，其中左边是人类专家设计的，右边则是 AutoML 设计的。谷歌团队表示，机器自行选择架构的过程其实和人类设计模型架构的过程是有共通之处的，比如两者都采用了合并输入，并借鉴了前向的隐藏层。不过，AutoML 也有一些值得一提的亮点，比如机器选择的架构包含了乘法组合（ multiplicative combination），比如上图中 AutoML 设计的模型的最左边的“elem_mult”。对 RNN 而言，出现这种组合的情况并不常见，可能是因为研究人员并没有发现这种组合有什么明显优势。但是有意思的地方在于，近来正好有人提议过这种方法，并认为乘法组合能够有效缓解梯度消失/爆炸的问题。这意味着，机器选择的架构对探索新的神经网络架构有很大的帮助。此外，这种方法或许还能教会人类：为何某些特定类型神经网络的效果更好？比如上图右边的架构有非常多的 channels，因此梯度可以向后传递，这也解释了为何 LSTM RNNs 的表现比标准 RNNs 的性能更好。AutoML 开源地址是 https://github.com/automl，感兴趣的读者可以自己动手尝试一下。 AutoML 会取代 AI 工程师吗？ AutoML 能在短时内取得显著进步，证明了用机器设计模型这个方向是有前途的，但是 AutoML 的终极目的是为了取代 AI 工程师吗？现如今，AI 专家必须通过本能和试错来不断调试神经网络的内部架构。加州大学伯克利分校研究员 Roberto Calandra 表示 ：“工程师的很大一部分工作本质上非常无聊，需要尝试各种配置来看哪些（神经网络）效果更好。”Calandra 认为，因为要解决的问题越来越难，神经网络也越来越深，未来设计一个深度学习模型的将会是一个艰巨的挑战。而从理论上来讲，AutoML 未来设计一个深度神经网络所耗费的时间，与人类专家相比几乎可以忽略不计，而且这个由机器设计的模型的效果也会更好，显然 AutoML 将大有可为。但是，这并不意味着 AutoML 会将人类从 AI 系统的开发过程中剔除出去。实际上，AutoML 的主要目的会降低机器学习的门槛，促进 AI 的民主化。要知道，即便实力雄厚如谷歌，也不敢说自己已经拥有足够的 AI 人才，因此降低门槛，提高效率，对 AI 行业的发展至关重要。谷歌首席执行官 Sundar Pichai 在上周的发布会上表示：“如今，这些（AI 系统）都是机器学习专家亲手搭建的，而全世界只有几千名科学家能够做到这一点。我们希望让成千上万的开发者也能够做到这一点。” 因此，虽然 AutoML 可能没有继承谷歌顶尖工程师的理论基础和数学才华，但是它却可以帮助 AI 工程师节省时间，或者启发他们，为他们提供灵感。 古筱凡也认为，AutoML 是真正的机器学习，它把经验性的工作自动化，现在的机器学习只是半成品。AutoML 能极大地降低未来机器学习的门槛，将是普通人使用机器学习的利器。据悉，AutoML 团队将会对机器所设计的架构进行深入的分析和测试，帮助 AI 工程师重新审视自身对这些架构的理解。如果谷歌成功，这意味着 AutoML 将有可能引发新的神经网络类型的诞生，也能让一些非专业研究人员根据自己的需要创造神经网络，造福全人类。AutoML 可能不会取代 AI 工程师，但是机器都这么努力了，你还有什么借口偷懒！就在这篇文章的留言区，好几条评论称：“作为AI工程师的我，感到了深深的压力。机器学习能力照着么发展下去，没准饭碗儿就真丢了......”参考资料：https://research.googleblog.com/ ... ing-to-explore.html[/url] SDCC 2017“人工智能技术实战线上峰会”将在CSDN学院以直播互动的方式举行。作为SDCC系列技术峰会的一部分，来自阿里巴巴、微软、商汤科技、第四范式、微博、出门问问、菱歌科技的AI专家，将针对机器学习平台、系统架构、对话机器人、芯片、推荐系统、Keras、分布式系统、NLP等热点话题进行分享。先行者们正在关注哪些关键技术？如何从理论跨越到企业创新实践？你将从本次峰会找到答案。每个演讲时段均设有答疑交流环节，与会者和讲师可零距离互动。 via: https://mp.weixin.qq.com/s?times ... ignature=3oKzeMMSwR*2sx-zpVVj6Iy3I-dCC0vHw*kkXEu3F1HcndqynoIvBwys0CgRTGPR25Vfg4jkziLypwOINudAUi4nRmnOZxKfeonoc3LQICk7ISZqaIpYu5OkP4dPuRt2T4zZFFkflkGBskQPbHA8KSjCPIL1MWDNFxpH92OHs*Q=
 SegmentFault 网页链接 2017-10-18 17:32
学以赚钱[喵喵][喵喵]【写给人类的机器学习 2.1 监督学习】http://t.cn/ROgVoQR 分享自 @SegmentFault 通过在数字广告上花费更多的钱，我们能挣多少钱？这个贷款的申请人是否能偿还贷款？股市明天会发生什么？ 在监督学习的问题中，我们以一个数据集开始，它包含训练样本，每个样本带有关联的正确...全文： http://m.weibo.cn/2036070420/4164254581568392
 新智元 网页链接 2017-10-18 16:00
视觉
【新智元导读】在过去的两三年中，对抗生成网络（GAN）获得了爆炸式的增长，其应用范围几乎涵盖了图像处理和机器视觉的绝大多数领域。本文分析了WGAN的理论框架，然后简介最优传输理论，解释生成器和判别器的主要任务，再介绍凸几何中的基本定理，初步试验结果比较了WGAN和几何方法。...全文： http://m.weibo.cn/5703921756/4164231643101881
 老赵 网页链接 2017-10-18 15:39
大概现在是我最落伍的时候了吧，例如我已经完全不懂大数据，机器学习，和AI了，即便一些听得懂的东西也不知道可以怎么用在工作上。另外FinTech前两场讲的根本不是技术啊，你说是广告也行，搞得我还耐着心子去听，真是浪费时间。
机器之心Synced 网页链接 2017-10-18 15:26
深度学习 算法 Yoshua Bengio
【Yoshua Bengio与MIT发表新论文：深度学习中的泛化】日前，MIT 和 Bengio 发表新论文，探讨深度学习中的泛化。该论文解释了深度学习能够实现较好泛化的原因，并提出了一系列新型正则化方法。机器之心对该论文进行了编译。http://t.cn/ROdEMZo
 LIBBLE-AI 网页链接 2017-10-18 10:52
深度学习 算法 代码 分布式学习 回归
开源了我们组自主研发的基于参数服务器（Parameter Server）的分布式机器学习平台LIBBLE-PS （http://t.cn/ROrOJtw ），LIBBLE-PS采用MPI进行通信，同时支持模型并行与数据并行。目前只开源了平台中的Logistic Regression (LR) 模型，其他模型（包括深度学习模型）在整理后将陆续添加。在LR上的实验表...全文： http://m.weibo.cn/6086771131/4164154052953929
 爱可可-爱生活 网页链接 2017-10-18 05:56
自然语言处理 Jason Brownlee Python
【(Python)机器学习文本净化处理】《How to Clean Text for Machine Learning with Python | Machine Learning Mastery》by Jason Brownlee http://t.cn/ROB3dVw
 大数据_机器学习 网页链接 2017-10-18 05:50
算法 SVM 分类 神经网络
机器学习小结：SVM >>>> 在各种模式识别和机器学习相关的课上，反复学习了这一经典算法，每次都有新的体会。借此机会做一个总结。 SVM是一种线性分类器。它针对的也是简单的有监督学习问题：给定m个样本(x(i), y(i))，y(i)=+/-1，确定一个线性分类面。这个问题可以用多种方法解决：感知器、F...全文： http://m.weibo.cn/5291384903/4164078110937336
大数据_机器学习 网页链接 2017-10-18 03:50
R语言
皮尔森相似度计算举例(R语言) >>>> arity）三、R语言入门简介Windows下的R语言安装包地址为：http://t.cn/zOMohKx下载e...是方差的平方根。R语言中函数为sd()。4）协方差（Covariance），也分成总体协方差和样本协方差，区别同上。R语言中函数为cov()。注意向量中有空元素 ...全文： http://m.weibo.cn/5291384903/4164047890382941
|
|
发表于 2017-10-20 15:26:02
