VALSE Webinar 25-11期 总第382期 面向大模型持续学习的方法与应用 ...

报告嘉宾：刘夏雷 (南开大学)

报告题目：基于图文预训练模型的连续学习方法研究

报告嘉宾：王立元 (清华大学)

报告题目：基于视觉预训练模型的持续学习方法与应用

Panel议题：

1. 在面对多模态数据、多任务、多场景的动态变化时，如何在连续学习过程中自动调整模型结构或参数更新策略，以快速适应这些变化？

2. 对于持续学习模型性能的评估，是否存在更全面、更能反映模型在真实动态环境中表现的评估指标体系？

3. 结合神经科学中关于人类学习和记忆的研究成果，是否有可能借鉴人类大脑的学习机制，优化模型的架构和学习算法，使其更接近人类的学习和遗忘规律？

4. 面向空间智能、具身智能等真实世界中的应用，持续学习面临的特殊挑战和解决方案有哪些？

5. 面向通用人工智能，连续学习与强化学习、迁移学习等其他学习范式将如何相互融合和协同发展？

报告嘉宾：刘夏雷 (南开大学)

报告时间：2025年4月23日 (星期三)晚上20:00 (北京时间)

报告题目：基于图文预训练模型的连续学习方法研究

报告人简介：

刘夏雷，南开大学计算机学院副教授，研究方向为开放环境视觉连续学习。入选南开大学“百名青年学科带头人培养计划”，入选第九届中国科协青年托举计划，博士生导师。博士毕业于西班牙巴塞罗那自治大学，博士后工作于英国爱丁堡大学。长期从事连续学习、无监督学习和小样本学习等面向开放环境的机器学习和计算机视觉问题。至今共发表学术论文40余篇，谷歌学术引用4500余次。包含国际顶级期刊和会议TPAMI、NeurIPS、CVPR、ICCV等，一篇文章入选CVPR 2022 Best Paper Finalists。担任VALSE 2022-2025 组委会成员，组织CVPR 2023年连续学习Workshop，获第二届粤港澳大湾区 (黄埔)国际算法算例大赛“序列任务的连续学习”冠军。

个人主页：

https://mmcheng.net/xliu/

报告摘要：

连续学习是新一代人工智能系统的关键技能之一，旨在使系统能够在动态变化的环境中不断学习新知识，同时避免灾难性地遗忘旧知识，以模拟人类学习的方式。本报告将以图文预训练模型为基础，探索多模态模型的连续学习，分别从判别性模型 (如CLIP)角度和生成性模型 (如InternVL)角度，解决目前连续学习所面临的挑战。最后对连续学习领域进展进行总结和展望。

报告嘉宾：王立元 (清华大学)

报告时间：2025年4月23日 (星期三)晚上20:30 (北京时间)

报告题目：基于视觉预训练模型的持续学习方法与应用

报告人简介：

王立元，清华大学计算机系博士后。他此前先后在清华大学获得学士和博士学位，获得清华大学“水木学者”、WAIC云帆奖等荣誉。他的研究兴趣聚焦在持续学习、增量学习、终身学习、类脑智能等领域，研究成果以第一作者发表在Nature Machine Intelligence (封面文章)、TPAMI、TNNLS、NeurIPS、ICLR、CVPR、ICCV等人工智能的顶级期刊和会议。

个人主页：

https://lywang3081.github.io/

报告摘要：

近年来，大规模预训练模型的发展极大提升了人工智能系统的有效性和通用性。然而，如何持续高效利用预训练知识已成为预训练模型在实际应用中面临的一项核心挑战。在本次报告中，我将简要介绍课题组结合全参数持续微调和参数高效持续微调等前沿范式，在视觉预训练模型的持续学习方法方面取得的研究进展，以及在通用持续学习场景和视频动作分析等方面的应用。

主持人：马月昕 (上海科技大学)

主持人简介：

马月昕，上海科技大学研究员、助理教授、博导，博士毕业于香港大学。主要研究方向为三维视觉、具身智能、自动驾驶。共发表相关领域顶会或顶刊论文80余篇，其中一作与通讯论文40余篇，包括Science Robotics、TPAMI、CVPR、ICCV、ECCV、SIGGRAPH、AAAI等，谷歌学术引用5000余次。参与指导的论文获MICCAI 2024唯一最佳论文奖。曾获上海市海外高层次人才，上海市优秀教学成果 (高等教育类)一等奖。

个人主页：

https://yuexinma.me/aboutme.html

特别鸣谢本次Webinar主要组织者：

主办AC：马月昕 (上海科技大学)