VALSE 2025专题论坛 | 人工智能大模型安全

VALSE 2025专题论坛 | 人工智能大模型安全

广东.珠海 2025年6月6-8日

人工智能大模型的广泛应用带来了诸多潜在的安全风险，如数据隐私泄露、恶意攻击、算法偏见、决策误导、有害信息传播等。当前人工智能大模型安全呈现出多维度的发展趋势，如技术层面的以模制模加固应用大模型抵御恶意攻击，多模态分析技术全方位甄别深度伪造内容等。在行业落地中伴随大模型向金融、医疗、交通等垂直领域应用，对应场景专属安全诉求激增。因此，本论坛邀请了相关知名青年学者，分享在多模态大模型攻击、防御、测评、可信等方面的前沿进展，探讨和推动人工智能大模型的安全可靠应用。

彭春蕾 西安电子科技大学

彭春蕾，西安电子科技大学教授，博士生导师，西电杭州研究院挂职副院长，网络与信息安全学院导学第四党支部书记。近年来从事视觉身份可信识别方面的研究，具体包括伪造检测、智能生成和鲁棒识别等。发表论文60余篇，主持国家自然科学基金面上项目、陕西省重点研发计划、CCF-腾讯犀牛鸟基金等，以排名第二参与2项国家自然科学基金重点项目。入选中国科协青年人才托举工程、陕西省青年科技新星，获吴文俊人工智能优秀青年奖、湖北省技术发明一等奖 (3/6)、中国图象图形学学会自然科学二等奖 (3/5)、陕西省优秀博士学位论文、中国图象图形学学会优秀博士学位论文奖。指导研究生入选中国电子学会硕士学位论文激励计划。担任国际期刊 Visual Computer Associate Editor，《网络空间安全科学学报》青年编委等。

刘晗 大连理工大学

刘晗，大连理工大学副教授，博士生导师，AI+教育研究所副所长。长期从事垂直领域大模型/知识图谱/智能体领域相关研究。在IEEE TKDE，NeurIPS，KDD，ACL，CVPR，SIGIR，WWW，AAAI，IJCAI等国际高水平期刊或会议发表论文70余篇（一作/通讯40余篇）。主持国家自然科学基金，某科委创新特区，教育部春晖计划等各类科研项目十余项。曾获得CCF科技成果奖自然科学二等奖，教育部-华为智能基座栋梁之师，ACM中国学术新星（大连），小米青年学者，字节跳动安全AI挑战赛全国冠军等。已联合发布支持软硬件全栈国产化的智能化工、医疗、船务三项垂直领域大模型。

刘艾杉 北京航空航天大学

刘艾杉，北京航空航天大学计算机学院副教授，从事安全可信人工智能方面的研究。累计在国际顶级会议/期刊发表论文70余篇 (一作/通信40余篇)，申请专利20余项，编制国标10项、专著/教材3本，谷歌学术引用3000余次。获省部级科技进步一等奖1项、省部级科技进步二等奖1项，安全领域四大顶会 (CCF-A 类)ACM CCS 2024 杰出研究成果奖，有关建议被中共中央办公厅采纳。常年担任论坛主席在包括CVPR、AAAI、IJCAI等CCF-A类国际会议上组织10余次“智能安全”系列主题国际研讨会和竞赛，常年担任NeurIPS、ICML等CCF-A类会议领域主席 (Area Chair)，担任Pattern Recognition等SCI期刊客座编辑，推动智能安全社区健康发展。

演讲嘉宾：韦星星 北京航空航天大学

报告题目：多模态大模型可信度评估及增强

报告摘要：本报告旨在介绍多模态大模型的可信度评估及增强方法，主要从可信度评估和增强两个方面展开。首先，针对多模态大模型的可信度评估，从事实性、安全性、鲁棒性、公平性和隐私性五个维度设计了详细的评测实例和工具，全面评估并排序了现有主流的多模态大模型。基于此，提出了名为MultiTrust的可信度评估框架，该框架能够系统地量化和比较不同模型在各个维度上的表现。其次，基于评估结果，进一步探讨了多模态大模型可信度缺失的内在原因，发现当前多模态大模型普遍依赖的视觉-语言预训练模块存在鲁棒性和安全性方面的欠缺。为了提升多模态大模型的可信度，介绍一种基于特征一致性的视觉语言预训练模型增强方法，通过加强不同模态间表征学习的一致性，优化多模态模型的可信度。

专家简介：韦星星，北京航空航天大学人工智能学院教授，博士生导师，国家级青年人才。主要研究方向为计算机视觉、安全可信人工智能，在TPAMI, IJCV和CVPR, ICCV等人工智能领域顶级期刊和会议发表学术论文80余篇 (其中TPAMI、IJCV论文10篇，ESI高被引论文5篇)，授权发明专利20余项。多次受邀担任人工智能领域顶级国际会议的程序委员会委员和TPAMI、IJCV等期刊的审稿人。作为负责人主持科技部“新一代人工智能”重大项目课题、国家自然科学基金面上项目、军兵种预研项目、华为/腾讯校企合作项目。荣获国防技术发明一等奖 (3/6)，在国际顶会举办的重要竞赛中获得冠亚军5项，优秀奖5项，被CCTV和环球网报道。

演讲嘉宾：蔺琛皓 西安交通大学

报告题目：人工智能大模型安全的完整与可用

报告摘要：随着深度学习、大模型、生成式人工智能等技术快速发展和成熟应用，其可信、安全、可控也广受关注。本报告围绕人工智能大模型的安全可信问题，从信息安全CIA三要素中的安全完整性及安全可用性出发，介绍人工智能大模型及其相关应用面临的安全风险和前沿技术。

专家简介：蔺琛皓，西安交通大学网络空间安全学院教授、博士生导师，教育部青年长江学者，教育部工程研究中心副主任。毕业于西安交通大学、美国哥伦比亚大学、香港理工大学。长期从事人工智能安全、大模型安全、智能身份安全等相关研究，在该方向发表论文60余篇，包括IEEE TPAMI、TDSC、TIFS、TIP、USENIX Security、S&P、ICML、NeurIPS、AAAI、CVPR等，获得了IJCAI-DCM等国际学术会议最佳论文奖2次；先后获得了达摩院青橙奖最具潜力奖、吴文俊人工智能优秀青年奖、中国自动化学会自然科学一等奖、人社部高层次留学人才回国资助等；入选了陕西省高层次人才 (青年)、小米青年学者、思源学者等；主持了重点研发计划项目课题，科技创新2030-“新一代人工智能”重大项目课题，国家自然科学基金重点类项目课题、面上、青年项目等；担任中国自动化学会人工智能与安全专委会副主任委员，以及ACM SIGSAC China、中国人工智能学会人工智能与安全等多个专委会委员。

演讲嘉宾：郭青 南开大学

报告题目：面向多模态模型的攻击与防御方法研究

报告摘要：随着多模态模型如视觉-语言模型在自动驾驶、智能助手和内容生成等领域的广泛应用，其安全性挑战日益突出。本报告系统地探讨了针对多模态模型的攻防研究进展，从数字环境到物理世界的攻防测试。在攻击研究方面，我们揭示了增强视觉-语言攻击迁移能力的关键机制，设计了由LLM智能体驱动的实体世界攻击方法，并深入剖析了生成式多模态模型的安全漏洞，包括"生成-编辑"协作式越狱攻击和基于个性化特征的后门攻击。在防御研究方面，我们提出了语义感知的隐式表示框架，并基于此研发了鲁棒的视觉重采样技术，并创新性地引入语言引导的连续表示机制增强模型抵御能力。通过这些研究，我们不仅揭示了多模态模型面临的复杂安全挑战，也为构建更安全可靠的下一代多模态系统提供了基础和实用解决方案。

专家简介：郭青，南开大学，教授，博士生导师，国家级青年人才 (海外)，入选斯坦福全球Top 2%科学家。2019年加入新加坡南洋理工大学任博士后研究员，并于2020年获聘为瓦伦堡-南洋理工大学校长博士后 (全球500选5人)，2022年加入新加坡科技研究 (A*STAR)前沿人工智能研究中心 (CFAR)任高级研究员，2023年兼职新加坡国立大学助理教授。曾获ICME最佳论文奖、ACM优秀博士论文奖等多项荣誉，在新加坡期间主持多项重大科研项目，累计科研经费约400万新币。主要研究方向可靠视觉感知及人工智能安全。在ICML、NeurIPS、ICLR、CVPR、ICCV、TPAMI、IJCV等A类会议及期刊上发表论文60余篇。现担任ICML、ICLR、NeurIPS、ICCV、IJCAI领域主席，AAAI Senior PC，VALSE 2023执行AC。

演讲嘉宾：吴海威 电子科技大学

报告题目：信息泡沫时代如何练就火眼金睛

报告摘要：在信息泡沫时代，虚假信息泛滥成灾，如同汹涌暗流冲击着我们的认知防线。AI生成内容的兴起，更使虚假信息鉴别难度倍增。本次报告聚焦“信息泡沫时代下的真伪内容鉴别”，以AI治AI，借助AI强大的运算与分析能力，打造智能“防御盾牌”。将深入探讨相关技术方法，助力大家在这场“信息保卫战”中练就火眼金睛。

专家简介：吴海威，电子科技大学，计算机科学与工程学院 (网络空间安全研究院)教授。从事人工智能与网络安全交叉领域研究，聚焦多媒体数字取证与人工智能安全。研究成果"面向社交网络的多媒体安全和取证关键技术"获2022年澳门自然科学奖；作为中国通信标准化协会技术参考；应用于阿里巴巴侵权纠纷等业务场景；于2024年"外滩大会·全球Deepfake攻防挑战赛"获冠军 (1500支队伍)。

演讲嘉宾：周文柏 中国科学技术大学

报告题目：大模型生成内容安全：从文本到多模态生成内容的安全防护体系

报告摘要：大语言模型、文生图和文生视频等大模型的快速发展，这些模型与技术在创造价值的同时也带来了全新的内容安全挑战。本报告聚焦人工智能大模型安全领域的前沿研究，系统性地介绍了从文本到多模态生成内容的威胁评估与防御体系。在语言模型方面，聚焦于有害文本生成问题，提出了创新的评估和缓解框架，致力于构建更加安全可靠的语言模型生态；对于图像生成，我们深入研究了对抗攻击下的安全防护机制，设计了兼顾生成质量与防御能力的解决方案；在视频生成领域，我们探索了基于内容理解的安全控制方法，实现了对生成过程的智能调控与风险管理。这些研究在不同模态中展现了技术创新与实用价值的结合，形成从理论到实践、从文本到多模态的大模型安全防护体系。团队工作为AI技术的负责任发展和安全部署提供了切实可行的解决方案也为人工智能的健康发展探索了新的道路。

专家简介：周文柏，中国科学技术大学网络空间安全学院副教授，博士生导师，中国科大“墨子杰出青年”，微软“铸星计划”青年学者。中国图象图形学会数字媒体取证与安全专委会副秘书长。主要研究兴趣包括信息隐藏和人工智能安全，发表安全领域四大顶会ACM CCS、IEEE TPAMI、CVPR等高水平论文五十余篇，获得ACM CCS杰出论文奖等多个国际顶会的最佳论文奖项。参与中央JW政工部牵头主办的“众智2022”创新应用大赛获得第一名，参与由Facebook发起的全球最高水准与最大规模人脸深度伪造检测挑战赛DFDC，获全球第二，赢得30万美元奖金，入选2014年以来中国人工智能安全领域的8项创新成果；理论研究成果入选《斯坦福人工智能报告2022》。主导研发全球最具影响力深度伪造工具DeepFaceLab，与OpenAI研发的GPT2共同入选2020年十大Github开源项目，主导“合成现实技术”，被央视官方解读为“新质生产力”代表性技术，并发布首个“合成现实数字人钱学森”，获得中央电视台、新华网、人民日报等主流媒体专访报道。主持某重点项目、国家自然科学基金等多项课题，项目总经费2000余万元。获得国家授权发明专利5项，担任TPAMI、AAAI、CVPR、ICCV、IJCV等多个顶级期刊会议的组委会成员与审稿人。

演讲嘉宾：董胤蓬 清华大学

报告题目：面向多模态大模型的安全性与可信性

报告摘要：多模态大模型近年来取得了快速发展，深刻改变了人们理解和生成图像、文本等数据的方式，并催生了如GPT-4o、Gemini、Sora等代表性成果。然而，尽管多模态大模型取得了巨大成功，其在安全性和可信性方面仍然面临着严峻的挑战。例如，这些模型很容易被诱导生成有害内容，易受对抗性攻击的干扰，且存在显著的隐私风险。本报告将介绍多模态大模型所面临的安全风险以及基于红队对抗的大模型风险高效挖掘方法；进而讨论如何降低大模型的安全风险，提升其安全性；最后介绍面向多模态大模型的可信评测基准。

专家简介：董胤蓬，清华大学人工智能学院助理教授，本科和博士毕业于清华大学计算机系，主要研究方向为机器学习、人工智能基础理论与安全。发表国际顶级学术会议和期刊论文六十余篇，谷歌学术引用11000余次，担任国际学术会议ICML、NeurIPS、ICLR领域主席。曾获得CCF优秀博士学位论文激励计划、清华大学优秀博士后等。