20180718-21 顾险峰：Geometric View to Deep Learning

报告嘉宾：顾险峰（纽约州立大学）

报告时间：2018年07月18日（星期三）晚上20:00（北京时间）

报告题目：Geometric View to Deep Learning

主持人：刘日升（大连理工）

报告人简介：

顾险峰，美国纽约州立大学石溪分校计算机系终身教授，哈佛大学数学科学和应用中心客座教授。1989年考入清华大学计算机科学与技术系，攻读基础理论方向，1992年获得清华大学特等奖学金，后于美国哈佛大学获得计算机博士学位，师从丘成桐教授。曾获美国国家自然科学基金CAREER奖，“华人菲尔茨奖”——晨兴应用数学金奖等。丘成桐教授和顾险峰教授团队，将微分几何，代数拓扑，黎曼面理论，偏微分方程与计算机科学相结合，创立跨领域学科“计算共形几何”，并广泛应用于计算机图形学，计算机视觉，几何建模，无线传感器网络，医学图像等领域。

个人主页：

http://www.cs.stonybrook.edu/~gu

报告摘要：

In this talk, we introduce geometric interpretation to the fundamental principles of deep learning. The manifold distribution law and the cluster distribution law are the fundamental reasons for the success of DL. Therefore, the major tasks for DL are extracting the manifold structure from the training data, and probability distribution transformation. The concept of rectified linear complexity of a ReLU DNN is introduced to describe the learning capability of the DNN, the upper bound of the complexity is given. The concept of rectified linear complexity of a manifold is introduced as well, which represents the difficulty of the manifold to be learned. Then we can show for any ReLU DNN, there exists a manifold that cannot be learned by the network.

The geometric theory for optimal transportation is introduced, which shows the probability transformation and Wasserstein distance computation can be reduced to a geometric convex optimization problem. Then we show the competition between the Generator and the Discriminator in WGAN model is unnecessary, the two DNN are redundant. We propose to use the transparent OMT model to partially replace the black-box in DNN. Experimental results demonstrate the efficiency and efficacy of the proposed model.

参考文献：

[1] Na Lei, Zhongxuan Luo, Shing-Tung Yau and David Xianfeng Gu. "Geometric Understanding of Deep Learning". arXiv:1805.10451 . 

https://arxiv.org/abs/1805.10451

[2] Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. "Variational principles for minkowski type problems, discrete optimal transport", and discrete monge-ampere equations. Asian Journal of Mathematics (AJM), 20(2):383-398, 2016.

[3] Na Lei,Kehua Su,Li Cui,Shing-Tung Yau,David Xianfeng Gu, "A Geometric View of Optimal Transportation and Generative Model", arXiv:1710.05488. https://arxiv.org/abs/1710.05488

[4] Huidong L，Xianfeng Gu, Dimitris Samaras, "A Two-Step Computation of the Exact GAN Wasserstein Distance", ICML 2018.

18-21期VALSE在线学术报告参与方式：

长按或扫描下方二维码，关注”VALSE“微信公众号（valse_wechat），后台回复”21期“，获取直播地址。

特别鸣谢本次Webinar主要组织者：

VOOC责任委员：刘日升（大连理工）

VODB协调理事：王瑞平（中科院计算所）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；

6、建议务必在速度较快的网络上参加活动，优先采用有线网络连接；

7、VALSE微信公众号会在每周一推送上一周Webinar报告的总结及视频（经讲者允许后），每周四发布下一周Webinar报告的通知及直播链接。

[slides]