VALSE Webinar 25-13期 总第384期 可信安全大模型关键技术

报告嘉宾：庞天宇 (Sea AI)

报告题目：Your LLM is Secretly a Fool and You Should Treat it Like One

报告嘉宾：郭青 (A*STAR)

报告题目：跨模态攻击和基于视觉重采样的防御机制

报告嘉宾：庞天宇 (Sea AI)

报告时间：2025年5月7日 (星期三)晚上20:00 (北京时间)

报告题目：Your LLM is Secretly a Fool and You Should Treat it Like One

报告人简介：

Tianyu Pang is a Senior Research Scientist at Sea AI Lab. He received Ph.D. and B.S. degrees from Tsinghua University. His research interests span the areas of machine learning, including Trustworthy AI and Generative Models. He has published over 50 papers on top-tier conferences and journals including ICML/ NeurIPS/ ICLR and CVPR/ ICCV/ ECCV/ TPAMI. His published papers have received over 10,000 citations. He is a recipient of Microsoft Research Asia Fellowship, Baidu Scholarship, NVIDIA Pioneering Research Award, Zhong Shimo Scholarship, CAAI Outstanding Doctoral Dissertation Award, WAIC Rising Star Award, and World's Top 2% Scientists.

个人主页：

https://p2333.github.io/

报告摘要：

In this talk, I will present our recent works on jailbreaking/ cheating LLMs and multimodal LLMs (MLLMs). This involves a quick overview of adversarial attacks and shows how LLMs/ MLLMs facilitate much more flexible attacking strategies. For examples, we show that a null model that always returns a constant output can achieve a 86.5% LC win rate on AlpacaEval 2.0; we could also jailbreak one million MLLM agents exponentially fast in, say, 5 minutes.

报告嘉宾：郭青 (A*STAR)

报告时间：2025年5月7日 (星期三)晚上20:30 (北京时间)

报告题目：跨模态攻击和基于视觉重采样的防御机制

报告人简介：

郭青，新加坡科技研究局 (A*STAR)前沿人工智能研究中心 (CFAR)高级研究员，PI，新加坡国立大学兼职助理教授，入选斯坦福全球Top 2%科学家。2019年加入新加坡南洋理工大学任博士后研究员，并于2020年获聘为瓦伦堡-南洋理工大学校长博士后 (全球500选5人)。曾获ICME最佳论文奖、ACM优秀博士论文奖 (天津)等多项荣誉，在新加坡期间主持多项重大科研项目，累计科研经费约400万新币。主要研究方向可靠视觉感知及人工智能安全。在ICML、NeurIPS、ICLR、CVPR、ICCV、TPAMI、IJCV等A类会议及期刊上发表论文60余篇。现担任ICML、ICLR、NeurIPS、ICCV、IJCAI领域主席，AAAI Senior PC，VALSE 2023执行AC。

个人主页：

https://tsingqguo.github.io/

报告摘要：

近两年，我们见证了在基础模型 (Foundation model，FMs)与新商业模式相结合的推动下，在实际应用中实施AI技术带来的巨大变化。一般来说，FM指的是在大量数据上训练的模型，这些模型可以针对各种下游任务进行微调，包括CLIP、SAM、ChatGPT、BLIP和扩散模型。普通人可以利用这些工具生成带有定制提示的个性化内容，这不可避免地会引起重大的安全问题。为了确保基础模型的安全性，我们关注两个关键方向:探索针对FM的对抗性攻击，以发现先进模型中的漏洞，并开发有效的防御机制以增强。在本报告中，我们将从可转移性和效率等不同角度介绍我们最近在攻击FM方面的研究成果，包括视觉语言模型和扩散模型。此外，我们将深入研究我们最近的工作，利用视觉重采样原理来防御潜在的攻击，从而在不改变模型权重的情况下提高FM的可靠性。

主持人：林迪 (天津大学)

主持人简介：

林迪，天津大学英才副教授。目前担任国际知名的计算机图形学期刊Visual Computer Journal的编委成员，国际顶尖计算机图形学会议Computer Graphics International的分委会主席。同时，担任智慧交通车态感知国家新一代人工智能开放创新平台天津大学分中心 (作为科技部在交通领域的唯一平台，天津大学是此平台的唯一分中心)副主任，视觉与学习青年学者研讨会及计算机图形学与混合现实在线平台的执行领域主席，中国图象图形学会智能图形专委会以及中国仿真学会自动驾驶汽车仿真测试专委会委员。已在国际顶级学术会议与期刊上发表论文逾60篇，其中第一作者/ 通讯作者论文CCF A和中科院SCI一区论文达30余篇。主持国家自然科学基金面上项目/ 青年项目、应急管理部重点科技计划课题、中国航发北京航空材料研究院重点实验室项目、天津市自然科学基金青年项目、阿里巴巴菜鸟网络合作项目、中汽研合作项目等纵横向项目，授权专利4项。入选2022-2024年度爱思唯尔和斯坦福大学《全球前2%顶尖科学家榜单》以及深圳市海外高层次人才计划。

个人主页：

https://dilincv.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：林迪 (天津大学)