VALSE Webinar 20230322-05期 总第305期 大规模预训练模型的可信性

报告嘉宾：庞天宇 (新加坡Sea AI Lab)

报告题目：Trustworthy Diffusion Models & Diffusion Models for Trustworthy ML

报告嘉宾：Chaowei Xiao (ASU)

报告题目：Towards Socially Responsible machine learning : Security and Ethics

Panel嘉宾：

庞天宇 (新加坡Sea AI Lab)、Chaowei Xiao (ASU)、崔鹏 (清华大学)、徐畅 (悉尼大学)、苏航 (清华大学)

Panel议题：

1. 超大规模预训练模型 (如ChatGPT、BERT、CLIP等)与传统机器学习模型 (如MLP、SVM、ResNet等)相比在可信性方面有哪些优势 (比如CLIP对distribution shift更加稳定)和劣势？

2. Fairness、Privacy、Explanability、Robustness等都属于Trustworthy ML. 如何将他们联系起来？或者说他们之间是如何互相促进的？

3. ChatGPT等超大规模预训练模型经常会做出一些有悖伦理的回答。OpenAI尝试了诸如Reinforcement Learning from Human Feedback等方式约束模型。您预期还有哪些有效方法？我们应该如何规范大规模预训练模型？

4. 如何看待OpenAI发现的“当训练数据到达一个数量级以后，模型自动产生了推理能力”这一结论？

5. 您认为“超大规模预训练模型”是通往Artificial General Intelligence的正确道路吗？在Trustworthy AGI的实现中，我们目前还缺少什么 (比如LeCun提出的世界模型)？

6. 目前工业界在大规模预训练模型上有天生优势 (计算资源、资金、人才等方面)。学术界应该如何迎头赶上？如何解决“大模型，不开源”的窘境？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：庞天宇 (新加坡Sea AI Lab)

报告时间：2023年03月22日 (星期三)晚上20:00 (北京时间)

报告题目：Trustworthy Diffusion Models & Diffusion Models for Trustworthy ML

报告人简介：

庞天宇，新加坡Sea AI Lab研究科学家 (Research Scientist)。2017年本科毕业于清华大学数理基科班，2022年博士毕业于清华大学计算机系，导师为朱军教授。主要研究方向为可信机器学习 (Trustworthy ML)以及生成式模型 (Generative Models)。在ICML/ NeurIPS/ ICLR以及CVPR/ ICCV/ ECCV上发表30余篇文章，并多次获得国际AI安全方向比赛前三名。曾荣获微软学者奖学金、百度奖学金、英伟达学术先锋奖、钟士模奖学金、国家奖学金、CAAI优秀博士论文、北京市优秀毕业生等。

个人主页：

https://p2333.github.io/

报告摘要：

近年来，扩散生成模型相关的研究取得了显著的进展，并产生了多个大模型如DALL-E 2、Imagen以及Stable Diffusion等等，在视觉创作方面掀起了一场革命。在本次报告中，我们主要从一方面探讨如何构建可信的扩散生成模型，以及从另一方面讨论扩散生成模型如何帮助可信机器学习。

参考文献：

[1] A Recipe for Watermarking Diffusion Models. Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, Min Lin. arXiv preprint 2023.

[2] Better Diffusion Models Further Improve Adversarial Training. Zekai Wang, Tianyu Pang, Chao Du, Min Lin, Weiwei Liu, Shuicheng Yan. arXiv preprint 2023.

[3] Bag of Tricks for Training Data Extraction from Language Models. Weichen Yu, Tianyu Pang, Qian Liu, Chao Du, Bingyi Kang, Yan Huang, Min Lin, Shuicheng Yan. arXiv preprint 2023.

报告嘉宾：Chaowei Xiao (ASU)

报告时间：2023年03月22日 (星期三)晚上20:30 (北京时间)

报告题目：Towards Socially Responsible machine learning : Security and Ethics

报告人简介：

Chaowei Xiao是美国亚利桑那州立大学的助理教授和同时也是NVIDIA Research的研究科学家。他于2015年在清华大学软件学院获得学士学位，并于2020年在密歇根大学安娜堡分校计算机科学系获得博士学位。他的研究专注于机器学习的安全、隐私和社会问题。他曾获得ACM Gordon Bell Special Prize，MobiCOM和ESWN最佳论文奖。根据Google Scholar的数据，他的研究成果已被引用超过6000次，并被Nature、Wired、Fortune和The New York Times等多家媒体报道。他的研究成果之一还在伦敦科学博物馆展出。

个人主页：

https://xiaocw11.github.io/

报告摘要：

本次报告，ChatGPT, GPT-4来势汹汹，它们一次次震惊了我们。大模型还存在这什么问题呢？在今天的报告中，我们主要探讨机器学习模型的安全和伦理问题。我们将会首先进行对对抗训练提升模型鲁棒性的反思，介绍如何通过不用对抗训练的方式构建安全可靠的机器学习模型。最后我们将会以版权问题为切入点，介绍现在大模型的存在的版权相关问题。

参考文献：

[1] DensePure: Understanding Diffusion Models towards Adversarial Robustness.

[2] Diffusion Models for Adversarial Purification.

[3] Defending against Adversarial Audio via Diffusion Model.

[4] PointDP: Diffusion-driven Purification against Adversarial Attacks on 3D Point Cloud Recognition.

Panel嘉宾：崔鹏 (清华大学)

嘉宾简介：

崔鹏，清华大学计算机系长聘副教授，博士生导师。研究兴趣聚焦于稳定学习、反事实决策、大规模网络表征学习等。在顶级国际会议发表论文100余篇，先后7次获得国际会议或期刊论文奖。担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM杰出科学家。

个人主页：

https://pengcui.thumedialab.com/

Panel嘉宾：徐畅 (悉尼大学)

嘉宾简介：

徐畅，悉尼大学高级讲师。主要从事深度学习、计算机视觉等领域的研究。在领域内顶级期刊和会议上已发表100余篇论文。获得多项会议论文奖项，包括AAAI 2023 Distinguished Paper Award、ICMD 2022 Best Student Paper Award、CVPR 2021 Best Paper Candidate 等。担任多个国际学术会议的领域主席，包括NeurIPS、ICML、ICLR、及CVPR。他获得澳大利亚悉尼大学校长杰出青年研究奖。

个人主页：

http://changxu.xyz/

Panel嘉宾：苏航 (清华大学)

嘉宾简介：

苏航，清华大学计算机系副研究员，入选国家“万人计划”青年拔尖人才，主要研究对抗机器学习和鲁棒视觉计算等相关领域，发表CCF推荐A类会议和期刊论文50余篇，谷歌学术论文引用5000余次，获得吴文俊人工智能自然科学一等奖，ICME铂金最佳论文、MICCAI青年学者奖和AVSS最佳论文等多个学术奖项，曾率队在NeurIPS2017对抗攻防等多个国际学术比赛中获得冠军。现任中国图像图形学会青工委执委、VALSE执行AC委员会主席，担任NeurIPS21的领域主席 (Area Chair)、AAAI22 Workshop Co-Chair等。

主持人：张弘扬 (滑铁卢大学)

主持人简介：

张弘扬，滑铁卢大学计算机学院、加拿大向量研究院助理教授。博士毕业于卡内基梅隆大学机器学习系，并于之后在 Toyota Technological Institute at Chicago完成博士后研究。他的研究方向包括可信机器学习、人工智能安全与隐私。张博士的多项工作获得诸如CVPR 2021 Security AI Challenger、NeurIPS 2018 Adversarial Vision Challenge等国际大赛冠军 。张博士在顶级会议、期刊中发表40多篇论文，并担任NeurIPS、ALT、AAAI等会议的领域主席。

个人主页：

https://hongyanz.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：张弘扬 (滑铁卢大学)

协办AC：徐畅 (悉尼大学)