VALSE 2025专题论坛 | 深度连续学习研讨会

VALSE 2025专题论坛 | 深度连续学习研讨会

广东.珠海 2025年6月6-8日

连续学习的核心目标是赋予系统在动态变化的环境中不断学习新知识的能力，同时有效避免灾难性遗忘旧知识，从而更接近于人类的学习方式。这一领域涉及参数优化、知识迁移、记忆复现以及模型结构动态调整等多种技术路径，并广泛应用于自动驾驶、个性化推荐等需要长期学习的场景。本论坛将围绕连续学习的最新研究进展和应用展开深入探讨，包括灾难性遗忘的解决策略、跨任务的知识共享机制、大模型在连续学习中的应用，以及实际系统中的连续学习挑战。

刘夏雷 南开大学

刘夏雷，南开大学计算机学院副教授，研究方向为开放环境视觉连续学习。入选南开大学“百名青年学科带头人培养计划”，入选第九届中国科协青年托举计划，博士生导师。博士毕业于西班牙巴塞罗那自治大学，博士后工作于英国爱丁堡大学。长期从事连续学习、无监督学习和小样本学习等面向开放环境的机器学习和计算机视觉问题。至今共发表学术论文40余篇，谷歌学术引用4500余次。包含国际顶级期刊和会议TPAMI、NeurIPS、CVPR、ICCV等，一篇文章入选CVPR 2022 Best Paper Finalists。担任VALSE 2022-2025 组委会成员，组织CVPR 2023年连续学习Workshop，获第二届粤港澳大湾区 (黄埔)国际算法算例大赛“序列任务的连续学习”冠军。

洪晓鹏 哈尔滨工业大学

洪晓鹏，哈尔滨工业大学教授，IEEE资深会员，VALSE资深AC。斯坦福大学全球前2％顶尖科学家年度榜单入选者。已在顶级国际和国内刊物和国际会议上发表文章80余篇，相关工作见诸美国《麻省理工技术评论》等技术媒体专文报道。2次获得领域内国际权威期刊和会议的优秀论文奖，5次带队获得国际评测冠军。作为负责人主持了国家重点研发计划课题、国家自然科学基金、芬兰信息学会博士后基金等10余个项目。多次受邀担任ACM MM 、 AAAI/IJCAI的领域主席或资深程序委员以及CVIU和IVC等国际主流期刊的编委。中国图像与图形学学会情感计算与理解专业委员会副秘书长，黑龙江省计算机学会学术工作委员会副主任、奖励工作委员会秘书长。目前的研究领域包括：多模态目标感知、深度连续学习、智能决策与任务分配等。

张幸幸 清华大学

张幸幸，清华大学助理研究员，中国电子学会优博，北京市优秀毕业生。主要研究方向为数据-时空高效的机器学习及其在具身智能中的应用，在IROS 2024 足式机器人挑战赛中获得亚军。相关成果发表在 Nature Machine Intelligence (封面文章)、TPAMI、NeurIPS (Spotlight)、ICLR、ECCV 等国际顶级期刊与会议，累计发表论文近 50 篇，授权专利 10 余项，主持多项国家级和省部级科研项目。曾系统梳理持续学习领域的发展脉络并提出未来方向，其综述在TPAMI发布后受到人工智能社区广泛关注，相关内容在 Twitter 平台浏览量超过 5 万。

1. 连续学习如何推动基础大模型实现可持续的、数据高效、能源高效的模型更新？

2. 为推动基础大模型的连续学习研究，需要哪些新的基准和评估指标？我们又该如何衡量基础模型中的知识积累与遗忘？

3. 基于上下文的学习或基于检索的方案如何在基础大模型连续学习中应用？

4. 什么样的模型架构和优化方法更加适用于模型连续学习？

5. 如何在具身智能中更好地应用连续学习，实现知识的累积和能力的飞跃？

演讲嘉宾：邓成，西安电子科技大学

报告题目：基于脑启发的深度增量学习

报告摘要：人类与生俱来具有终身不断获取、整合和迁移知识的能力，这种学习能力被称之为增量学习 (Incremental Learning)。在机器学习领域，特别是深度学习模型提出以来，增量学习致力于解决模型训练的一个普遍缺陷——灾难性遗忘 (Catastrophic Forgetting)，即在新任务上训练时，在旧任务上的表现通常会显著下降。本报告以人脑学习与记忆机制为引入，分析探讨现有增量学习主流范式，并提出增量学习未来发展方向。

专家简介：邓成，西安电子科技大学二级教授、博士生导师。国家级高层次人才，国家百千万人才工程入选者，中国图像图形学会高级会员、中国计算机学会高级会员。主要研究方向为增量学习理论与方法、多模态数据协同计算理论与方法，在本领域国际一流期刊和CCF-A类会议上发表论文200余篇，连续多年入选爱思唯尔中国高被引学者榜单。现担任国际知名期刊Pattern Recognition、Neurocomputing副编辑；担任多个国际学术会议的高级程序委员/程序委员，如ICML、NeurIPS、ICCV、CVPR、KDD、AAAI、IJCAI等。研究成果获2019年、2023年陕西省自然科学一等奖、2016年国家自然科学二等奖。

演讲嘉宾：周宇，南开大学

报告题目：增量目标检测：关键挑战与技术进展

报告摘要：增量目标检测任务要求目标检测模型在持续学习新类别的同时，有效避免对旧类别知识的遗忘，从而兼具快速适应新知识的“可塑性”与保持原有知识的“稳定性”。然而，在实际增量场景中，模型往往面临标注数据稀缺、数据存储空间受限、数据隐私保护需求等诸多挑战。针对上述问题，本报告将围绕以下几个方面展开深入探讨：(1) 首先明确增量目标检测的任务定义，剖析其中存在的核心技术难点与瓶颈；(2) 分析知识蒸馏方法在增量检测任务中的应用，阐述如何有效地从旧模型中挖掘知识，并迁移指导新任务的学习；(3) 介绍数据重放策略的最新进展，探讨目标级数据重放如何在资源受限条件下高效缓解灾难性遗忘问题；(4) 讨论基于Transformer的增量检测方法，分析如何利用其架构有效地增强新旧任务的交互能力，并借助参数高效微调优化其域适应能力，进一步提升模型整体性能。最后，本报告将结合增量目标检测技术当前的发展现状与趋势，提出对未来研究方向的深入思考和展望，以期为增量目标检测领域的发展提供有价值的启发。

专家简介：周宇，南开大学计算机学院教授、博导；CSIG文档图像分析与识别专委会常务委员、副秘书长。研究方向为OCR、终身学习及多模态智能等。近年来在CCF-A类/SCI一区会议期刊发表论文近40篇，获CCF-A类会议ACM MM 2021最佳论文提名奖 (5/1942篇)。团队核心技术获得CSIG 2022票据识别与分析挑战赛冠军、2020年“中国人工智能·多媒体信息识别技术竞赛”手写&印刷文本OCR两项高校组冠军、ICDAR ReST 2023印章主体文字检测第三名等近10项学术竞赛奖项。研发的场景文本提取系统、特定目标检测系统、钓鱼网站检测系统等应用于多个国家部委及企业，发挥关键作用。主持国家重点研发计划课题&子课题、国家自然科学基金面上&青年基金项目、国家部委重大工程课题、中国博士后科学基金、企业委托等项目/课题多项。

演讲嘉宾：叶翰嘉，南京大学

报告题目：基于模型复用与兼容的持续学习

报告摘要：持续学习关注当新知识不断增加时如何利用已有模型和新增数据进行模型高效更新，并防止模型“灾难性遗忘”。本报告从持续学习不同阶段模型间“兼容性”的角度出发，提出通过模型复用在类别、领域分布发生变化时轻量的更新方法。探究当面临新数据时，如何有效实现当前模型和历史模型在模型权重、特征表示层面的兼容，减缓模型遗忘并平衡模型对已有分布和新分布的判别能力。模型间的“兼容性”也适用于大模型能力的演进，本报告分析视觉信息引入后多模态大模型注意力的变化，设计模态专家模块补偿注意力分布，在多模态大模型持续更新时保持其纯文本问答能力；也将多模态大模型的能力轻量化扩展至多语言方面，应对多语言图文问答。实验结果展现出上述基于复用与兼容思路设计的大小模型在不同持续学习场景中的能力，验证了这一思路的有效性。

专家简介：叶翰嘉，现任南京大学人工智能学院副教授，在南京大学机器学习与数据挖掘研究所 (LAMDA)从事学术研究工作，研究方向包括表示学习、预训练模型复用等领域。叶翰嘉在人工智能领域发表《IEEE Trans. PAMI》等学术论文60余篇，受邀担任国际重要会议ICML/ NeurIPS/ ICLR/ CVPR/ IJCAI领域主席、中国计算机学会高级会员、中国计算机学会大模型论坛执行委员；主持国家重点研发计划专项项目、国家自然科学基金面上项目，获中国人工智能学会吴文俊人工智能青年科技奖、中国计算机学会优秀博士学位论文奖。

演讲嘉宾：余璐，天津理工大学

报告题目：持续学习中的少遗忘、强鲁棒和可解释研究

报告摘要：持续学习旨在使模型能够持续获取新知识，同时避免遗忘已有知识，提升模型的泛化能力和长期适应能力。本报告围绕持续学习中的三个关键挑战展开：一是少遗忘，探讨如何通过参数正则化、记忆重放等机制缓解灾难性遗忘；二是强鲁棒，重点介绍模型在对抗攻击下保持稳定表现的方法；三是可解释性，聚焦于如何理解模型的知识更新过程和决策依据，从而提升模型的可信度与可控性。

专家简介：余璐，天津理工大学“明理学者”副教授，主持国家自然科学基金面上项目、青年项目。主要研究领域为连续学习、鲁棒性研究等，共发表论文20余篇，包括CVPR、NeurIPS、ICLR等。担任中国计算机学会多媒体技术专业委员会执行委员。获China MM 2023最佳海报奖和CVPR 2022“持续学习”论坛最佳论文奖。

演讲嘉宾：朱飞 中国科学院香港创新研究院人工智能与机器人创新中心

报告题目：多模态持续学习

报告摘要：多模态持续学习作为持续学习的重要分支，不仅拓展了单一模态下的知识积累能力，还能促进跨模态信息的融合与传递，从而应对复杂场景中任务多样性与模态协同的问题。本报告围绕视觉-语言模型，探讨多模态持续学习思路，并介绍我们在该问题上的初步研究成果。最后，我们对持续学习研究进行总结和展望。

专家简介：朱飞，中国科学院香港创新研究院人工智能与机器人创新中心助理研究员。2018年和2023年分别在清华大学、中国科学院自动化研究所获学士和博士学位。曾获中国科学院院长特别奖、中国科学院和北京市优秀博士学位论文奖。研究兴趣包括模式识别、机器学习、持续学习与不确定性估计等，在IEEE-TPAMI、IJCV、Neural Networks、Pattern Recognition、自动化学报等期刊与CVPR、ECCV、NeurIPS、ICLR等会议上发表论文多篇。

演讲嘉宾：张幸幸，清华大学

报告题目：从预训练到持续演进：理论、技术与应用

报告摘要：多预训练模型在显著缓解持续学习中灾难性遗忘问题的同时，也大幅提升了模型的泛化能力；而持续学习方法则进一步增强了预训练模型在多样化下游任务中的适应与表现能力。特别是在具身智能领域，持续学习正逐步展现出巨大的研究价值与应用潜力，成为构建通用智能体的重要路径之一。本报告将围绕预训练与持续学习的融合必要性与关键挑战展开，重点介绍脑启发的持续学习机制、参数高效的持续微调方法 (涵盖单模态与多模态场景)，以及面向具身任务的持续强化学习等前沿研究方向。通过这些方法，有望推动智能体在动态环境中不断习得复杂行为、实现跨任务组合与泛化，最终迈向可持续演进、适应任意任务与本体的通用学习算法。

专家简介：张幸幸，清华大学助理研究员，中国电子学会优博，北京市优秀毕业生。主要研究方向为数据-时空高效的机器学习及其在具身智能中的应用，在IROS 2024 足式机器人挑战赛中获得亚军。相关成果发表在 Nature Machine Intelligence (封面文章)、TPAMI、NeurIPS (Spotlight)、ICLR、ECCV 等国际顶级期刊与会议，累计发表论文近 50 篇，授权专利 10 余项，主持多项国家级和省部级科研项目。曾系统梳理持续学习领域的发展脉络并提出未来方向，其综述在TPAMI发布后受到人工智能社区广泛关注，相关内容在 Twitter 平台浏览量超过 5 万。

Panel嘉宾：许可乐，国防科技大学

Panel嘉宾简介：许可乐，国防科技大学计算机学院副研究员，入选省部级人才计划，Kaggle Grandmaster。长期从事多模态机器学习研究。主持国家、军队级项目十余项。在相关智能领域的公认的会议和期刊发表论文100余篇 (包括NeurIPS、ICML、AAAI、ACM MM、ASE、TASLP、TGRS、TMI等CCF A/B类论文60余篇)。获军队科技进步奖一等奖一项。