VALSE Webinar 20220406-08期 总第274期 “热门中的冷门”-实用深度学习优化方法 ... ...

报告嘉宾：方聪 (北京大学)

报告题目：Convex Formulation of Overparameterized Deep Neural Networks

报告嘉宾：袁晓彤 (南京信息工程大学)

报告题目：基于随机模型的深度学习优化

报告嘉宾：刘日升 (大连理工大学)

报告题目：基于梯度的双层优化方法初探

Panel嘉宾：

方聪 (北京大学)、袁晓彤 (南京信息工程大学)、刘日升 (大连理工大学)、左旺孟 (哈尔滨工业大学)、黄雷 (北京航空航天大学)

Panel议题：

1. 相比网络架构的演变速度，优化方法的进展速度似乎更为平稳，其中的主要原因是什么？

2. 虽然深度模型架构变化不断在变化 (MLP->CNNs->Transformers->MLP)，目前的工作 (ConvNeXts：A ConvNet for the 2020s)似乎表明在选择恰当的模型正则化方法和优化方法条件下，不同深度模型架构的性能比较相似。这是否说明模型正则化方法和优化方法比深度模型架构更为重要？

3. 目前深度学习优化方法和其超参数选择多且困难，深度学习优化的优化方法是否为一种更有潜力的最优深度学习优化策略？

4. 优化方法的理论分析与实际应用之间经常会存在一定的偏差或者不一致性，其中的主要原因是什么？

5. 影响深度学习优化方法的核心因素有哪些？未来还有那些值得研究的方向？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：方聪 (北京大学)

报告时间：2022年04月06日 (星期三)晚上20:00 (北京时间)

报告题目：Convex Formulation of Overparameterized Deep Neural Networks

报告人简介：

Cong Fang is an assistant professor at Peking University. He was a postdoctoral researcher with University of Pennsylvania in 2021 and with Princeton University in 2020. He received a Ph.D. degree from Peking University in 2019. He works on the foundations of machine learning. His research interests are broadly in machine learning algorithms and theory. He currently concentrates on various aspects of optimization and deep learning theory.

个人主页：

https://congfang-ml.github.io/index.html

报告摘要：

The analysis of over-parameterized neural networks has drawn significant attention in recent years. It was shown that such systems behave like convex systems under various restricted settings, such as for two-layer neural networks, and when learning is only restricted locally in the so-called neural tangent kernel space around specialized initializations.

However, there is a lack of powerful theoretical techniques that can analyze fully trained deep neural networks under general conditions. We investigate such overparameterized deep neural networks when fully trained. Specifically, we characterize a deep neural network by its features' distributions and propose a metric to intuitively measure the usefulness of feature representations. Under certain regularizers that bounds the metric, we show deep neural networks can be reformulated as a convex optimization and the system can guarantee effective feature representations in terms of the metric. Our new analysis is more consistent with empirical observations that deep neural networks are capable of learning efficient feature representations.

参考文献：

[1] Cong Fang; Yihong Gu; Weizhong Zhang; Tong Zhang; Convex formulation of overparameterized deep neural networks, IEEE trans. on Information Theory (accepted), 2022， arxiv: 1911.07626.

[2] Cong Fang; Jason Lee; Pengkun Yang; Tong Zhang; Modeling from features: a mean-field framework for over-parameterized deep neural networks, 34nd Annual Conference on Learning Theory, 2021.

报告嘉宾：袁晓彤 (南京信息工程大学)

报告时间：2022年04月06日 (星期三)晚上20:20 (北京时间)

报告题目：基于随机模型的深度学习优化

报告人简介：

袁晓彤，现任南京信息工程大学教授，博导，江苏省大数据分析技术重点实验室副主任。主要研究方向为机器学习、图像处理、AI+气象等。在国内外高水平期刊 (包括JMLR, IEEE-TPAMI, IEEE-TIT等)和会议 (包括NeurIPS, ICML, COLT, CVPR等)上发表论文90余篇。主持承担了国家自然科学基金联合基金重点项目、优秀青年基金等项目，入选江苏省高校优秀科技创新团队和江苏省双创人才。研究成果获得江苏省科学技术一等奖、教育部高等学校科学研究优秀成果二等奖等科研奖励。

个人主页：

https://sites.google.com/site/xtyuan1980/

报告摘要：

基于随机模型的优化方法近年来在机器学习领域得到越来越多的关注。相比传统的随机梯度方法，随机模型方法通常具有更好的步长选择鲁棒性和迭代稳定性，在相位恢复等非光滑和非凸优化问题中得到很好的应用。本次报告将介绍我们在随机模型优化方法方面的研究进展，以及相关方法在基于优化的元学习、分布式神经网络剪枝、异构联邦学习等问题中的应用。

参考文献：

[1] P. Zhou, X.-T. Yuan, Z. Lin, and S. Hoi, A Hybrid Stochastic-Deterministic Minibatch Proximal Gradient Method for Efficient Optimization and Generalization, IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE-TPAMI), online, 2021.

[2] X.-T. Yuan, P. Li, On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond, Journal of Machine Learning Research (JMLR), (206):1−51, 2020.

[3] P. Zhou, X.-T. Yuan, H. Xu, S. Yan, J. Feng, Efficient Meta Learning via Minibatch Proximal Update, Neural Information Processing Systems (NeurIPS), 2019.

[4] B. Liu, X.-T. Yuan, L. Wang, Q. Liu, J. Huang, D. Metaxas, Distributed Inexact Newton-type Pursuit for Non-convex Sparse Learning, International Conference on Artificial Intelligence and Statistics (AISTATS), Okinawa, Japan, 2019.

报告嘉宾：刘日升 (大连理工大学)

报告时间：2022年04月06日 (星期三)晚上20:40 (北京时间)

报告题目：基于梯度的双层优化方法初探

报告人简介：

刘日升，大连理工大学几何计算与智能媒体技术研究所教授，博导，所长。大连理工大学计算数学博士，香港理工大学计算科学系博士后 (香江学者)。主要研究方向为机器学习、计算机视觉、优化方法，近年来发表IEEE汇刊及CCF推荐A类会议论文60余篇，引用5000余次。成果获得教育部自然科学二等奖1项，辽宁省自然科学二等奖1项，6篇论文获得国际权威学术会议最佳论文类奖项，1篇论文入选IEEE智能计算亮点论文。主持基金委优青项目，入选辽宁省青年拔尖人才、百千万人才工程等。

报告摘要：

双层优化作为建模和求解超参数学习、元学习、神经架构搜索、生成对抗学习、强化学习等多种深度学习任务的强有力数学工具，受到越来越多机器学习、计算机视觉和优化领域研究者的关注。本次报告将重点汇报团队近期在基于梯度的双层优化算法设计、优化加速与理论分析方法的研究进展。

参考文献：

[1] Risheng Liu, Yaohua Liu, Shanghai Zeng, Jin Zhang. Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond. NeurIPS 2021.

[2] Risheng Liu, Jiaxin Gao, Jin Zhang, Deyu Meng, Zhouchen Lin. Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond. IEEE TPAMI 2022.

[3] Yaohua Liu, Risheng Liu*. BOML: A Modularized Bilevel Optimization Library in Python for Meta Learning. ICME 2021 (Best Open-Source Project Award).

Panel嘉宾：左旺孟 (哈尔滨工业大学)

嘉宾简介：

左旺孟，哈尔滨工业大学计算学部教授、博士生导师，机器学习研究中心主任。主要从事图像增强与复原、多域视觉学习、物体检测与目标跟踪、图像与视频分类等方面的研究。在CVPR/ICCV/ECCV等顶级会议和T-PAMI/IJCV和IEEE Trans.等顶级期刊上发表论文100余篇，谷歌学术引用30,000余次。曾任ICCV2019、CVPR2020/2021等CCF-A类会议领域主席，现任IEEE T-PAMI和T-IP等期刊编委。

个人主页：

http://homepage.hit.edu.cn/wangmengzuo

Panel嘉宾：黄雷 (北京航空航天大学)

嘉宾简介：

黄雷，北京航空航天大学人工智能研究院副教授，于2010年和2018年在北京航空航天大学计算机学院获得学士和博士学位，师从李未院士。曾受国家留学基金委资助，于2015至2016年在密歇根大学Jia Deng 课题组进行访问研究。其2018年博士毕业后，在阿联酋起源人工智能研究院任Research Scientist，并于2021年加入北京航空航天大学人工智能研究院。黄雷的研究主要集中在深度学习训练技术以及理论分析方面，并涵盖机器学习和计算机视觉多个领域。其在人工智能领域顶级会议上 (如CVPR, ICCV, ICML, NeurIPS和AAAI等)发表论文二十余篇。多次担任CVPR, ICCV, NeurIPS, ICML, JMLR, TPAMI, IJCV 等顶级会议和期刊的审稿人，曾以一作兼通讯作者身份获CVPR 2020最佳论文提名奖。

个人主页：

https://huangleibuaa.github.io/

主持人：王旗龙 (天津大学)

主持人简介：

王旗龙，天津大学智能与计算学部英才副教授，2018年毕业于大连理工大学，获得博士学位，主要研究方向是深层网络架构设计与优化、视频图像分析。目前发表学术论文40余篇，大多数发表在国际顶级会议CVPR/ICCV/ECCV/ NIPS以及IEEE T-PAMI/IEEE T-IP/IEEE T-CSVT等国际权威期刊，谷歌学术引用2500余次。曾获得中国人工智能学会优秀博士论文，入选2018年博士后创新人才计划。主持国家自然科学基金、CCF-百度松果基金等项目。

个人主页：

https://csqlwang.github.io/homepage/

特别鸣谢本次Webinar主要组织者：

主办AC：王旗龙 (天津大学)

协办AC：黄雷 (北京航空航天大学)

袁晓彤 [slide]