VALSE Webinar 20220803-19期 总第286期 妙笔生花，画龙点睛：视觉生成式模型专题研讨 ...

报告嘉宾：周博磊 (加州大学洛杉矶分校)

报告题目：生成模型的解释性，交互性，小样本学习，以及我对Dalle2的看法

报告嘉宾：李崇轩 (中国人民大学)

报告题目：扩散概率模型与其加速推断算法

Panel嘉宾：

周博磊 (加州大学洛杉矶分校)、李崇轩 (中国人民大学)、左旺孟（哈尔滨工业大学）、胡瀚（微软亚洲研究院）、宋飏（斯坦福大学）

Panel议题：

1. 暖场问题：请各位嘉宾畅想一下，视觉生成式模型在实际应用中的前景。每位嘉宾请各自列举一个自己觉得最有趣的例子。

2. 虽然生成式模型取得了长足进步，但是目前生成式模型的可解释性还不够好，许多场景下，生成的图像或者视频还存在常识性错误。请问各位嘉宾：你们认为生成式模型和判别式模型的可解释性是一回事吗？它们的本质困难是否一致？

3. 今天两位讲者的报告都提及了生成式模型的加速。纵观整个历史，视觉生成式模型总是比同时代的视觉判别式模型要慢。请问各位嘉宾：这种趋势会延续下去吗？各位如何展望生成式模型的轻量化、小型化，以及数据高效的生成式模型？

4. 生成和判别是机器学习领域的两个重要概念，他们彼此对立而又相辅相成。以GAN为代表的算法表明，判别式模型有效地辅助了生成式模型的设计和优化，但是反向命题似乎还不成立：在视觉骨干网络设计、自监督学习等基础问题上，还很难看到生成式模型的身影。各位嘉宾如何看待这个问题？各位看好生成式模型如何辅助视觉识别问题？各位嘉宾可以列举某些具体案例来辅助说明。

5. 如果将AI与人类的能力对比，我们不难发现，人类的判别能力远超生成能力：大部分人类能够轻松完成检测、分割等任务，但是只有少数经过训练的人能够画出接近真实场景的绘画作品。请问各位嘉宾：对这个事实有什么看法？是否AI也应当像人类一样，不必追求太强的生成能力？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：周博磊 (加州大学洛杉矶分校)

报告时间：2022年08月03日 (星期三)早上10:00 (北京时间)

报告题目：生成模型的解释性，交互性，小样本学习，以及我对Dalle2的看法

报告人简介：

周博磊为加州大学洛杉矶分校(UCLA)助理教授，研究方向是计算机视觉和机器智能决策。博士毕业于麻省理工学院。周博士在模型可解释性和场景理解有突出贡献，开发了CAM和Network Dissection方法，以及Places和ADE20K数据库，有五篇过千引用量的一作论文。他担任过 CVPR, ICCV, ECCV, AAAI等会议的Area Chair，荣获过亚太区MIT Tech Review's Innovators under 35。更多关于他的研究工作请参见个人主页。

个人主页：

https://boleizhou.github.io/

报告摘要：

这两年生成模型取得了突破性进展，大模型加海量数据成了新的趋势。Dalle2和Imagen这样大力出奇迹的生成模型会使得生成模型的研究工作越来越被工业界实验室统治。在这样的趋势下，资源有限的大学实验室在生成模型方向如何生存以及可以开展一些什么样的另辟蹊径的研究项目呢？在这个讲座中，我将分享一些我们GenForce课题组在生成模型研究的一些不一样的探索点，如生成模型的解释性，可控性，以及小样本学习等，希望能给大家提供一些新的研究思路。

参考文献：

[1] C. Yang, Y. Shen, Y. Xu, B. Zhou. Data-Efficient Instance Generation from Instance Discrimination. In NeurIPS, 2021.

arXiv (ICLR'22 and ECCV'22 rejects): One-Shot Generative Domain Adaptation.

https://arxiv.org/pdf/2111.09876.pdf

[2] J. Wang, C. Yang, Y. Xu, Y. Shen, H. Li, B. Zhou. Improving GAN Equilibrium by Raising Spatial Awareness. In CVPR, 2022.

[3] C. Yang, Y. Shen, Z. Zhang, Y. Xu, J. Zhu, Z. Wu, B. Zhou. One-Shot Generative Domain Adaptation. In arXiv preprint: 2111.09876, 2021.

报告嘉宾：李崇轩 (中国人民大学)

报告时间：2022年08月03日 (星期三)早上10:30 (北京时间)

报告题目：扩散概率模型与其加速推断算法

报告人简介：

李崇轩，中国人民大学高瓴人工智能学院准聘助理教授，博导。研究方向为概率机器学习，特别是深度生成模型、近似推断算法和相关方法在半监督学习、持续学习等场景的应用。他的代表性工作有：一致性理论下最优的半监督GAN方法Triple-GAN；扩散概率模型在最大似然意义下的最优反向方差估计Analytic-DPM。李崇轩获机器学习领域重要国际会议ICLR 2022年杰出论文奖，2021年吴文俊人工智能自然科学奖一等奖，2019年中国计算机学会优秀博士论文和2017年微软学者。李崇轩入选2019年中国博士后创新人才支持计划，主持国家自然科学基金面上项目。

个人主页：

https://zhenxuan00.github.io/

报告摘要：

扩散概率模型是一类新涌现的生成模型，这类方法逐步地对先验分布去噪得以逼近数据分布。目前，扩散概率模型在数据合成质量、采样的多样性和数据密度估计等指标下取得了超越 VAE、GAN、FLOW 等经典深度生成模型的结果，也在诸多最新的大模型中得到应用。扩散概率模型的推断过程需要迭代几百上千步，每步均需要深度神经网络的前馈计算，这是制约这类方法的一个基础瓶颈问题。本次报告会介绍扩散概率模型的基本原理及其加速推断算法，特别是最大似然意义下扩散概率模型的最优反向方差估计。最后，本次报告会对扩散概率模型的下一步发展做简单的展望。

参考文献：

[1] F. Bao, C. Li, J. Zhu, B. Zhang. Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models. In ICLR, 2022.

[2] F. Bao, C. Li, J. Sun, J. Zhu, B. Zhang. Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models. In ICML, 2022.

Panel嘉宾：左旺孟 (哈尔滨工业大学)

嘉宾简介：

左旺孟，哈尔滨工业大学计算机学院教授、博士生导师。主要从事图像增强与复原、图像编辑与生成、物体检测与目标跟踪、图像与视频分类等方面的研究。在CVPR/ICCV/ECCV等顶级会议和T-PAMI、IJCV及IEEE Trans.等期刊上发表论文100余篇。曾任ICCV2019、CVPR2020/2021、ECCV 2022等顶级会议领域主席，现任IEEE T-PAMI和T-IP等期刊编委。

个人主页：

http://homepage.hit.edu.cn/wangmengzuo

Panel嘉宾：胡瀚 (微软亚洲研究院)

嘉宾简介：

胡瀚，微软亚洲研究院视觉计算组研究员，西安交大兼职博导。主要研究兴趣包括视觉神经网络设计，自监督表征学习，以及视觉-语言联合表征学习等等，他的论文Swin Transformer荣获ICCV2021最佳论文奖 (马尔奖)，并被学界和业界广泛使用。他于2014年和2008年在清华大学自动化系分别获得博士和本科学位，博士论文获得中国人工智能学会优博奖。曾担任CVPR 2021和CVPR 2022领域主席。

个人主页：

https://ancientmooner.github.io/

Panel嘉宾：宋飏 (斯坦福大学)

嘉宾简介：

宋飏，斯坦福大学 (Stanford)博士研究生，即将入职加州理工学院 (Caltech)电子系 (EE)和计算数学科学系 (CMS)担任助理教授。他的研究方向是统计机器学习，目前专注于深度生成模型及其在稳健性和逆问题求解/压缩感知上的应用。宋飏的代表成果是基于计分匹配的生成模型 (Score-Based Generative Models)的系列工作，首次在重要数据集上超越了GAN在图像生成上的表现，也是扩散模型领域的奠基性成果。他的工作获得了ICLR 2021杰出论文奖，摩根大通人工智能奖学金，以及苹果奖学金。

个人主页：

http://yang-song.github.io/

主持人：谢凌曦 (华为云计算公司)

主持人简介：

谢凌曦博士目前是华为公司的高级研究员。他分别于2010年和2015年于清华大学获得本科和博士学位，并且于2015年至2019年期间在美国加州大学洛杉矶分校和约翰霍普金斯大学担任博士后研究员。谢凌曦博士的研究兴趣覆盖计算机视觉的各个方向，主要包括统计学习方法和深度学习模型的应用。他的研究工作覆盖图像分类、物体检测、语义分割和其他视觉任务，并积极推动自动机器学习算法在上述领域的应用。谢凌曦博士已经在国际顶级的学术会议和期刊上发表超过60篇论文，谷歌学术引用超过7000次。他于2015年获得清华大学优秀博士论文奖，并于ICMR2015会议上获得最佳论文奖。

个人主页：

http://www.lingxixie.com/

特别鸣谢本次Webinar主要组织者：

主办AC：谢凌曦 (华为云计算公司)

协办AC：左旺孟 (哈尔滨工业大学)