VALSE

VALSE 首页 活动通知 查看内容

VALSE Webinar 20230322-05期 总第305期 大规模预训练模型的可信性

2023-3-17 17:39| 发布者: 程一-计算所| 查看: 883| 评论: 0

摘要: 报告时间2023年03月22日 (星期三)晚上20:00 (北京时间)主 题大规模预训练模型的可信性主持人张弘扬 (滑铁卢大学)直播地址https://live.bilibili.com/22300737报告嘉宾:庞天宇(新加坡Sea AI Lab)报告题目:Trustwort ...

报告时间

2023年03月22日 (星期三)

晚上20:00 (北京时间)

主  题

大规模预训练模型的可信性

主持人

张弘扬 (滑铁卢大学)

直播地址

https://live.bilibili.com/22300737


报告嘉宾:庞天宇 (新加坡Sea AI Lab)

报告题目:Trustworthy Diffusion Models & Diffusion Models for Trustworthy ML


报告嘉宾:Chaowei Xiao (ASU)

报告题目:Towards Socially Responsible machine learning : Security and Ethics




Panel嘉宾:

庞天宇 (新加坡Sea AI Lab)、Chaowei Xiao (ASU)、崔鹏 (清华大学)、徐畅 (悉尼大学)、苏航 (清华大学)


Panel议题:

1. 超大规模预训练模型 (如ChatGPT、BERT、CLIP等)与传统机器学习模型 (如MLP、SVM、ResNet等)相比在可信性方面有哪些优势 (比如CLIP对distribution shift更加稳定)和劣势?

2. Fairness、Privacy、Explanability、Robustness等都属于Trustworthy ML. 如何将他们联系起来?或者说他们之间是如何互相促进的?

3. ChatGPT等超大规模预训练模型经常会做出一些有悖伦理的回答。OpenAI尝试了诸如Reinforcement Learning from Human Feedback等方式约束模型。您预期还有哪些有效方法?我们应该如何规范大规模预训练模型?

4. 如何看待OpenAI发现的“当训练数据到达一个数量级以后,模型自动产生了推理能力”这一结论?

5. 您认为“超大规模预训练模型”是通往Artificial General Intelligence的正确道路吗?在Trustworthy AGI的实现中,我们目前还缺少什么 (比如LeCun提出的世界模型)?

6. 目前工业界在大规模预训练模型上有天生优势 (计算资源、资金、人才等方面)。学术界应该如何迎头赶上?如何解决“大模型,不开源”的窘境?


*欢迎大家在下方留言提出主题相关问题,主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题!


报告嘉宾:庞天宇 (新加坡Sea AI Lab)

报告时间:2023年03月22日 (星期三)晚上20:00 (北京时间)

报告题目:Trustworthy Diffusion Models & Diffusion Models for Trustworthy ML


报告人简介:

庞天宇,新加坡Sea AI Lab研究科学家 (Research Scientist)。2017年本科毕业于清华大学数理基科班,2022年博士毕业于清华大学计算机系,导师为朱军教授。主要研究方向为可信机器学习 (Trustworthy ML)以及生成式模型 (Generative Models)。在ICML/ NeurIPS/ ICLR以及CVPR/ ICCV/ ECCV上发表30余篇文章,并多次获得国际AI安全方向比赛前三名。曾荣获微软学者奖学金、百度奖学金、英伟达学术先锋奖、钟士模奖学金、国家奖学金、CAAI优秀博士论文、北京市优秀毕业生等。


个人主页:

https://p2333.github.io/


报告摘要:

近年来,扩散生成模型相关的研究取得了显著的进展,并产生了多个大模型如DALL-E 2、Imagen以及Stable Diffusion等等,在视觉创作方面掀起了一场革命。在本次报告中,我们主要从一方面探讨如何构建可信的扩散生成模型,以及从另一方面讨论扩散生成模型如何帮助可信机器学习。


参考文献:

[1] A Recipe for Watermarking Diffusion Models. Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, Min Lin. arXiv preprint 2023.

[2] Better Diffusion Models Further Improve Adversarial Training. Zekai Wang, Tianyu Pang, Chao Du, Min Lin, Weiwei Liu, Shuicheng Yan. arXiv preprint 2023.

[3] Bag of Tricks for Training Data Extraction from Language Models. Weichen Yu, Tianyu Pang, Qian Liu, Chao Du, Bingyi Kang, Yan Huang, Min Lin, Shuicheng Yan. arXiv preprint 2023.


报告嘉宾:Chaowei Xiao (ASU)

报告时间:2023年03月22日 (星期三)晚上20:30 (北京时间)

报告题目:Towards Socially Responsible machine learning : Security and Ethics


报告人简介:

Chaowei Xiao是美国亚利桑那州立大学的助理教授和同时也是NVIDIA Research的研究科学家。他于2015年在清华大学软件学院获得学士学位,并于2020年在密歇根大学安娜堡分校计算机科学系获得博士学位。他的研究专注于机器学习的安全、隐私和社会问题。他曾获得ACM Gordon Bell Special Prize,MobiCOM和ESWN最佳论文奖。根据Google Scholar的数据,他的研究成果已被引用超过6000次,并被Nature、Wired、Fortune和The New York Times等多家媒体报道。他的研究成果之一还在伦敦科学博物馆展出。


个人主页:

https://xiaocw11.github.io/

 

报告摘要:

本次报告,ChatGPT, GPT-4来势汹汹,它们一次次震惊了我们。大模型还存在这什么问题呢?在今天的报告中,我们主要探讨机器学习模型的安全和伦理问题。我们将会首先进行对对抗训练提升模型鲁棒性的反思,介绍如何通过不用对抗训练的方式构建安全可靠的机器学习模型。最后我们将会以版权问题为切入点,介绍现在大模型的存在的版权相关问题。


参考文献:

[1] DensePure: Understanding Diffusion Models towards Adversarial Robustness.

[2] Diffusion Models for Adversarial Purification.

[3] Defending against Adversarial Audio via Diffusion Model.

[4] PointDP: Diffusion-driven Purification against Adversarial Attacks on 3D Point Cloud Recognition.


Panel嘉宾崔鹏 (清华大学)


嘉宾简介:

崔鹏,清华大学计算机系长聘副教授,博士生导师。研究兴趣聚焦于稳定学习、反事实决策、大规模网络表征学习等。在顶级国际会议发表论文100余篇,先后7次获得国际会议或期刊论文奖。担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM杰出科学家。


个人主页:

https://pengcui.thumedialab.com/


Panel嘉宾:徐畅 (悉尼大学)


嘉宾简介:

徐畅,悉尼大学高级讲师。主要从事深度学习、计算机视觉等领域的研究。在领域内顶级期刊和会议上已发表100余篇论文。获得多项会议论文奖项,包括AAAI 2023 Distinguished Paper Award、ICMD 2022 Best Student Paper Award、CVPR 2021 Best Paper Candidate 等。担任多个国际学术会议的领域主席,包括NeurIPS、ICML、ICLR、及CVPR。他获得澳大利亚悉尼大学校长杰出青年研究奖。


个人主页:

http://changxu.xyz/


Panel嘉宾:苏航 (清华大学)


嘉宾简介:

苏航,清华大学计算机系副研究员,入选国家“万人计划”青年拔尖人才,主要研究对抗机器学习和鲁棒视觉计算等相关领域,发表CCF推荐A类会议和期刊论文50余篇,谷歌学术论文引用5000余次,获得吴文俊人工智能自然科学一等奖,ICME铂金最佳论文、MICCAI青年学者奖和AVSS最佳论文等多个学术奖项,曾率队在NeurIPS2017对抗攻防等多个国际学术比赛中获得冠军。现任中国图像图形学会青工委执委、VALSE执行AC委员会主席,担任NeurIPS21的领域主席 (Area Chair)、AAAI22 Workshop Co-Chair等。


主持人:张弘扬 (滑铁卢大学)


主持人简介:

张弘扬,滑铁卢大学计算机学院、加拿大向量研究院助理教授。博士毕业于卡内基梅隆大学机器学习系,并于之后在 Toyota Technological Institute at Chicago完成博士后研究。他的研究方向包括可信机器学习、人工智能安全与隐私。张博士的多项工作获得诸如CVPR 2021 Security AI Challenger、NeurIPS 2018 Adversarial Vision Challenge等国际大赛冠军 。张博士在顶级会议、期刊中发表40多篇论文,并担任NeurIPS、ALT、AAAI等会议的领域主席。


个人主页:

https://hongyanz.github.io/



特别鸣谢本次Webinar主要组织者:

主办AC:张弘扬 (滑铁卢大学)

协办AC:徐畅 (悉尼大学)


活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行,欢迎在B站搜索VALSE_Webinar关注我们!

直播地址:

https://live.bilibili.com/22300737;

历史视频观看地址:

https://space.bilibili.com/562085182/ 


2、VALSE Webinar活动通常每周三晚上20:00进行,但偶尔会因为讲者时区问题略有调整,为方便您参加活动,请关注VALSE微信公众号:valse_wechat 或加入VALSE QQ S群,群号:317920537);


*注:申请加入VALSE QQ群时需验证姓名、单位和身份缺一不可。入群后,请实名,姓名身份单位。身份:学校及科研单位人员T;企业研发I;博士D;硕士M。


3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。


4、您也可以通过访问VALSE主页:http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT(经讲者允许后),会在VALSE官网每期报告通知的最下方更新。

小黑屋|手机版|Archiver|Vision And Learning SEminar

GMT+8, 2024-6-22 07:15 , Processed in 0.015322 second(s), 14 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部