20170705-13 VALSE CVPR2017专场三

报告嘉宾1：董胤蓬（清华大学）

报告时间：2017年07月05日（星期三）晚上20：00-20：20（北京时间）

报告题目：Improving Interpretability of Deep Neural Networks with Semantic Information

主持人：苏航（清华大学）

报告摘要： 

深度学习的可解释性（Interpretability）问题在深度神经网络的发展过程中发挥着至关重要的作用。可解释学习能够使我们了解模型的优势和缺陷、预知模型未来的行为、修复模型中可能存在的问题。但是由于深度学习的黑箱特性，我们很难了解深度神经网络内部的工作机理。为了解决深度神经网络不可解释的问题，我们提出利用人类描述中丰富的语义信息来提升深度神经网络的可解释性。在自动生成视频描述（Video Captioning）的任务中，我们首先从描述中提取主题表示作为有意义的语义信息，然后通过可解释性误差（Interpretive Loss）将其纳入到网络的训练过程中。我们提出了预测差异最大化（Prediction Difference Maximization）的方法解释神经元学习的特征。实验结果展示出通过这种方法，我们可以得到可解释的特征，同时也可以帮助提高任务性能。通过充分理解深度神经网络内部的特征表示，用户通过人在环（Human-in-the-loop）过程可以简单地修复模型的错误。

报告人简介：

董胤蓬，清华大学计算机科学与技术系人工智能研究所，博士一年级，导师为朱军副教授。研究方向为机器学习、深度学习及其在计算机视觉中的应用，目前关注于深度神经网络的可解释性与鲁棒性分析。2016年6月至9月赴美国卡耐基梅隆大学Fernando教授组里访问。

Yinpeng Dong is a first-year Ph.D. student of TSAIL Group in the Department of Computer Science and Technology, Tsinghua University, advised by Prof. Jun Zhu. His research interest includes machine learning, deep learning and their applications in computer vision. Recently, he is interested in interpretability and robustness of deep neural networks. He was a visiting student from June, 2016 to September, 2016 in the Robotics Institute, Carnegie Mellon University, advised by Prof. Fernando De la Torre.

报告嘉宾2：贾奎（华南理工大学、电子与信息学院）

报告时间：2017年07月05日（星期三）晚上20：20-20：40（北京时间）

报告题目：深度神经网络卷积核优化探究（Improving training of deep neural networks via Singular Value Bounding）

主持人：苏航（清华大学）

报告摘要： 

In this work, we focus on investigation of the network solution properties that can potentially lead to good performance. Our research is inspired by theoretical and empirical results that use orthogonal matrices to initialize networks, but we are interested in investigating how orthogonal weight matrices perform when network training converges. To this end, we propose to constrain the solutions of weight matrices in the orthogonal feasible set during the whole process of network training, and achieve this by a simple yet effective method called Singular Value Bounding (SVB). In SVB, all singular values of each weight matrix are simply bounded in a narrow band around the value of 1. Based on the same motivation, we also propose Bounded Batch Normalization (BBN), which improves Batch Normalization by removing its potential risk of ill-conditioned layer transform. We present both theoretical and empirical results to justify our proposed methods. Experiments on benchmark image classification datasets show the efficacy of our proposed SVB and BBN. In particular, we achieve the state-of-the-art results of 3.06% error rate on CIFAR10 and 16.90% on CIFAR100, using off-the-shelf network architectures (Wide ResNets). Our preliminary results on ImageNet also show the promise in large-scale learning.

报告人简介：

贾奎，博士，华南理工大学电子与信息学院教授，博士生导师，主动感知与结构智能团队负责人，国家青年千人。2001年于西北工业大学获得学士学位，2004年于新加坡国立大学获得硕士学位，2007年于伦敦大学玛丽女王学院获得计算机科学博士学位。博士毕业后，曾先后于中科院深圳先进技术研究院、香港中文大学、伊利诺伊大学香槟分校新加坡高等研究院、及澳门大学从事教学和科研工作。贾奎博士的主要研究方向是计算机视觉、机器学习、图像处理、和模式识别等。在包括TPAMI，IJCV, TSP, TIP, ICCV, CVPR等在内的计算机视觉和模式识别顶级期刊和会议发表论文50余篇。