20210707-18 总第244期 预训练大模型：大势所趋or昙花一现？

预训练模型近年来获得了快速的发展。通过汇聚资源，整合尽可能多的数据，汇聚大量算力，训练超大规模模型已经成为目前人工智能领域研究的热点之一。本次webinar邀请到了悟道、盘古和M6三个大模型团队，共同探讨预训练模型的发展。

报告嘉宾：卢志武 (中国人民大学)

报告题目：WenLan 2.0: Large-Scale Multi-Modal Pre-trained Model and its Interpretation

报告嘉宾：谢凌曦 (华为数字技术有限公司)

报告题目：盘古大模型以及对大模型的思考

报告嘉宾：周畅 (阿里巴巴)

报告题目：万亿规模多模态预训练模型m6及其应用

Panel嘉宾：

卢志武 (中国人民大学)、谢凌曦 (华为数字技术有限公司)、周畅 (阿里巴巴)

Panel议题：

1. 预训练大模型已经发展到了什么阶段？它的主要优点是什么、缺点是什么？作为研究者或者开发者，应该对大模型抱有怎样合理的期望？

2. 近年来，各类预训练大模型层出不穷，令人目不暇接。许多机构在发布各自的大模型时，都会强调模型的参数量，而参数量的军备竞赛，也迅速地从十亿级别增长到了万亿级别参数量是否是评价大模型能力的好标准？如果不是，那么是否存在一种更加合理的评价大模型能力的方式？

3. 当前，绝大部分的预训练大模型都局限于CV和NLP领域，以及两者的简单交互。大模型是否需要扩展至更多的模态？大模型的能力与模态的数量之间，是否存在某种联系？

4. 由于对算力的巨大需求，当前在预训练大模型上的研究，主要是由工业界引导的。这种状况是否会持续下去？如果学术界想要在大模型的研发中贡献自己的力量，应该如何去做？有没有什么适合学术界去做的研究课题？

5. 预训练大模型的未来展望？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：卢志武 (中国人民大学)

报告时间：2021年07月07日 (星期三)晚上20:00 (北京时间)

报告题目：WenLan 2.0: Large-Scale Multi-Modal Pre-trained Model and its Interpretation

报告人简介：

Zhiwu Lu is a full professor with the Gaoling School of Artificial Intelligence, Renmin University of China, Beijing 100872, China. He received the Master of Science degree in applied mathematics from Peking University in 2005, and the PhD degree in computer science from City University of Hong Kong in 2011. His research interests include machine learning and computer vision. He has published over 80 papers in international journals and conference proceedings including TPAMI, IJCV, TIP, ICLR, NeurIPS, CVPR, ICCV, and ECCV. He won the IBM SUR Award 2015 and Best Paper Award at CGI 2014. He is the inventor of the large-scale Chinese multi-modal pre-trained model - WenLan. 

个人主页：

http://sites.google.com/site/zhiwulu/

报告摘要：

In this talk, I will first give a brief review of the latest works on large-scale multi-modal pre-training. I will further present the details of our large-scale multi-modal pre-trained model – WenLan 2.0, including the model design and distributed training. I will also provide extensive visualization results to clarify what has been learned by WenLan 2.0.

参考文献：

[1] Huo et al., WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training. CoRR abs/2103.06561 (2021).

[2] Han et al., Pre-Trained Models: Past, Present and Future. CoRR abs/2106.07139 (2021).

[3] Yulei Niu, Hanwang Zhang, Zhiwu Lu, and Shih-Fu Chang, Variational Context: Exploiting Visual and Textual Context for Grounding Referring Expressions. IEEE TPAMI 43(1): 347-359 (2021).

报告嘉宾：谢凌曦 (华为数字技术有限公司)

报告时间：2021年07月07日 (星期三)晚上20:30 (北京时间)

报告题目：盘古大模型以及对大模型的思考

报告人简介：

谢凌曦博士目前是华为公司的高级研究员。他分别于2010年和2015年于清华大学获得本科和博士学位，并且于2015年至2019年期间在美国加州大学洛杉矶分校和约翰霍普金斯大学担任博士后研究员。谢凌曦博士的研究兴趣覆盖计算机视觉的各个方向，主要包括统计学习方法和深度学习模型的应用。他的研究工作覆盖图像分类、物体检测、语义分割和其他视觉任务，并积极推动自动机器学习算法在上述领域的应用。谢凌曦博士已经在世界顶级的学术会议和期刊上发表超过50篇论文。他于2015年获得清华大学优秀博士论文奖，并于ICMR2015会议上获得最佳论文奖。

个人主页：

http://lingxixie.com/

报告摘要：

当前，AI应用场景的碎片化需求，正在成为AI算法落地所面临的最大挑战。2021年4月，华为云发布《盘古预训练大模型》，旨在利用海量数据和超大算力，训练出具有巨大参数量的预训练模型，从而提升AI算法的通用性和易用性，助力AI算法落地实际场景。盘古预训练大模型目前包含计算机视觉和自然语言处理两个分支，并在业界首创兼顾生成能力与判别能力的预训练模型。其中，中文预训练大模型在中文语言理解测评基准CLUE上排名第一；视觉预训练大模型已经在超过100个实际场景中取得了应用，平均节省超过80%的人力和算力成本。

在本次报告中，我们将简要介绍《盘古预训练大模型》，并且从此发散开去，讨论预训练大模型的发展以及团队对未来方向的思考。

参考文献：

[1] https://www.huaweicloud.com/product/modelarts/mls.html

报告嘉宾：周畅 (阿里巴巴)

报告时间：2021年07月07日 (星期三)晚上21:00(北京时间)

报告题目：万亿规模多模态预训练模型m6及其应用

报告人简介：

周畅，博士毕业于北京大学，目前为阿里巴巴达摩院高级算法专家，其研究兴趣包括表征学习、推荐系统、多模态预训练、认知系统。目前他已在机器学习、数据挖掘、数据库领域国际顶级会议上发表近30篇文章，并担任NeuRIPS/ICML/KDD/WWW等会议PC member。加入阿里后，他在大规模用户商品表征、长期记忆建模、内容行为理解方面做了大量的技术探索和落地工作，先后帮助淘宝公域&私域等多个推荐场景取得核心效率指标15%以上的提升。近期他带领团队先后完成百亿&千亿&万亿参数的多模态预训练大模型m6，大幅优化了大规模预训练模型的计算效率的同时，在智能制造、支付宝等多个应用场景也取得了丰硕的落地成果。

报告摘要：

伴随着预训练模型参数日益增大，其展现出的模型能力越来越让人惊叹甚至恐慌——超大规模参数的模型对学术界和工业界而言所蕴含的巨大学术&商业价值引发了越来越多的关注。本报告将介绍阿里巴巴在超大规模多模态预训练上的进展，包括如何提升超大规模预训练模型的资源利用率与训练效率以及在各类下游任务上的应用实践。

参考文献：

[1] M6: A Chinese Multimodal Pretrainer.

[2] Exploring Sparse Expert Models and Beyond.

[3] UFC-BERT: Unifying Multi-Modal Controls for Conditional Image Synthesis.

主持人：苏航 (清华大学)

主持人简介：

苏航，清华大学计算机系副研究员，长期关注鲁棒、可解释机器学习理论及其视觉应用研究，发表CVPR、NeurIPS等顶级期刊和会议论文60余篇，曾荣ICME2018“铂金最佳论文”、AVSS2012“最佳论文奖”和MICCAI2012“青年学者奖”等学术奖励，担任NeurIPS领域主席(Area Chair)、和IJCAI、AAAI等多个学术会议的高级程序委员 (Senior PC)。

特别鸣谢本次Webinar主要组织者：

主办AC：谢凌曦 (华为数字技术有限公司)

协办AC：苏航 (清华大学)