20190306-05 自动机器学习 AutoML

2019-2-28 20:41| 发布者: 程一-计算所| 查看: 3477| 评论: 0

摘要: VALSE Webinar改版说明：自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30 ...

VALSE Webinar改版说明：

自2019年1月起，VALSE Webinar改革活动形式，由过去每次一个讲者的方式改为两种可能的形式：

1）Webinar专题研讨：每次活动有一个研讨主题，先邀请两位主题相关的优秀讲者做专题报告（每人30分钟），随后邀请额外的2~3位嘉宾共同就研讨主题进行讨论（30分钟）。

2）Webinar特邀报告：每次活动邀请一位资深专家主讲，就其在自己熟悉领域的科研工作进行系统深入的介绍，报告时间50分钟，主持人与主讲人互动10分钟，自由问答10分钟。

报告时间：2019年3月6日（星期三）下午13:00（北京时间）

主题：自动机器学习 AutoML

主持人：蒋路（Google）

报告嘉宾：Alejandro Newell（University of Michigan）

报告题目：Feature Partitioning for Efficient Multi-Task Architectures

报告嘉宾：田飞（微软亚洲研究院）

报告题目：连续空间中的神经网络结构和损失函数自动优化

Panel议题：

AutoML具体包括什么(网络结构搜索，超参数搜索，传统机器学习模型等)?
AutoML与meta-learning的关系？
NAS的局限性？如何完全除去人为干预？
NAS与representation/transfer learning？
如何看待Random Search and Reproducibility for NAS
RL or ES or SGD, gradient-based NAS是未来吗？

Panel嘉宾：

刘晨曦（约翰霍普金斯大学）、刘寒骁（Google）、田飞（微软亚洲研究院）、王乃岩 ( 北京图森未来科技）、蒋路（Google）

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：Alejandro Newell（University of Michigan）

报告时间：2019年3月6日（星期三）下午13:00（北京时间）

报告题目：Feature Partitioning for Efficient Multi-Task Architectures

报告人简介：

Alejandro Newell is a PhD student in Computer Science at Princeton University. He works under the supervision of Jia Deng doing research in computer vision and deep learning. His research interests include scene understanding and human pose estimation with a focus on providing more flexible and effective forms of supervision for structured vision tasks. He has interned at Oculus Research and Google Cloud AI Research.

个人主页：

http://www-personal.umich.edu/~alnewell/

报告摘要：

When designing multi-task architectures it is challenging to determine optimal parameter sharing strategies given a large set of tasks. Much work in this space either uses a fixed strategy that adds parameters for each new task or adjusts architectures at the level of discrete layers. We choose instead to partition feature channels within layers to allow more fine-grained control of how sharing can take place. We propose a low-dimensional representation for exploring multi-task architectures, and demonstrate that different strategies can be quickly evaluated with a distillation technique. These allow us to quickly identify high performing multi-task sharing strategies tuned to a specific set of datasets. We evaluate on Visual Decathlon, demonstrating that it is possible to identify feature partitioning schemes that perform well while minimizing the amount of parameters required by individual tasks.

参考文献：

[1] Feature Partitioning for Efficient Multi-Task, Architectures.Alejandro Newell, Jia Deng, Lu Jiang, Chong Wang, Li-Jia Li, Preprint 2019.

报告嘉宾：田飞（微软亚洲研究院）

报告时间：2019年3月6日（星期三）下午13:30（北京时间）

报告题目：连续空间中的神经网络结构和损失函数自动优化

报告人简介：

田飞博士于2016年7月加入微软亚洲研究院，目前任机器学习组研究员。他分别于2011年7月、2016年6月在中国科学技术大学计算机系获得工学学士与博士学位，博士阶段参与微软亚洲研究院与中国科学技术大学的联合培养博士生项目。他曾经获得中科院院长奖、微软学者提名奖、谷歌优秀奖等多项荣誉。他的研究方向主要包括自动化机器学习技术，以及深度学习技术在自然语言处理，特别是机器翻译中的应用。他在主流机器学习和自然语言处理会议和期刊（包括NIPS、ICML、ICLR、EMNLP、IJCAI和AAAI等）上发表了二十余篇论文，并多次被邀请担任这些会议的程序委员会成员。他的研究成果被成功应用于微软的各项产品（例如Office Sharepoint、Bing和微软小冰）。

个人主页：

https://ustctf.github.io

报告摘要：

Typical automatic machine learning methods handle the discrete design choice problem in neural network training by directly searching in the original (discrete) space. In this talk, I will cover two recent works in our group that tries to solve this problem by casting the discrete choices into continuous space, making the gradient based optimization feasible. The two works respectively aim at automatically designing the optimal neural network architectures [1] and loss functions [2]. We show that through efficient gradient-based optimization, we can discover the neural network architecture and the loss functions to train better deep neural network models for a wide spectrum of real-world tasks in computer vision and natural language processing, while the computational cost could be reasonable.

参考文献：

[1] Luo,R, Tian,F, Qin,T, Chen,E, & Liu,T.Y. (2018). Neural architecture optimization. In Advancesm in Neural Information Processing Systems.
[2] Wu,L, Tian,F, Xia,Y, Fan,Y, Qin,T, Jian-Huang,L, & Liu,T. Y. (2018). Learning to Teach with Dynamic Loss Functions. In Advances in Neural Information Processing Systems.
[3] Fan,Y, Tian,F, Qin,T, Li,X, & Liu,T.Y. (2018). Learning to Teach. In International Conference on Learning Representations9.

Panel嘉宾：刘晨曦（约翰霍普金斯大学）

嘉宾简介：

刘晨曦，约翰霍普金斯大学计算机系博士生，师从Alan Yuille教授。此前于清华大学取得学士学位，于加州大学洛杉矶分校取得硕士学位。曾在Google, Adobe, TTIC, 多伦多大学等研究机构实习或访问。主要研究方向为计算机视觉，包括神经网络结构搜索，与自然语言的融合等。

个人主页：

http://www.cs.jhu.edu/~cxliu/

Panel嘉宾：刘寒骁（Now at Google）

嘉宾简介：

Hanxiao Liu (刘寒骁) received his Ph.D. from Carnegie Mellon University in 2018 and his B.E. from Tsinghua University in 2013. He worked on neural architecture search at DeepMind and statistical arbitrage at Citadel. His work has been published at ICML, NeurIPS, ICLR, ACL, EMNLP, AISTATS and JAIR. He is now a Research Scientist at Google Brain, focusing on scalable meta-learning algorithms for vision and language tasks.

个人主页：

http://www.cs.cmu.edu/~hanxiaol/

Panel嘉宾：王乃岩 ( 北京图森未来科技）

嘉宾简介：

王乃岩现为北京图森未来科技有限公司首席科学家，负责北京算法研发团队从事L4级别自动驾驶重卡的研发。在这之前，他于2011年本科毕业于浙江大学，2015年博士毕业于香港科技大学计算机科学与工程系。他是2014 Google PhD Fellow计划入选者（全球38名），多次在国际数据挖掘和计算机视觉比赛中名列前茅，是将深度学习应用于目标追踪领域全球第一人，亦是知名深度学习开源框架MXNet核心开发者。他发表的论文据Google Scholar统计总引用次数超过3500次。他的主要研究方向为计算机视觉与机器学习，特别在于将统计计算模型应用到这两者的实际问题中去。

个人主页：

http://winsty.net

Panel嘉宾：蒋路（Google）

嘉宾简介：

蒋路曾于2017年获得卡内基梅隆大学人工智能（语言技术）博士学位。曾于2008年2011年获得西安交通大学工学学士与硕士学位。长期致力于计算机视觉，机器学习和多媒体的交叉领域研究。近年来在包括 NIPS, ICML, ICLR, CVPR, ECCV, MM, AAAI, IJCAI 等发表论文30余篇。他是ACM Multimedia 2019 视觉和语言 (vision + language) 的领域主席 (area chair). 蒋路现在为Google Research scientist。

个人主页：

http://www.lujiang.info

19-05期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注“VALSE”微信公众号（valse_wechat），后台回复“05期”，获取直播地址。