VALSE 论文速览 第54期：Learngene：从开放世界到目标学习任务

论文题目：Learngene：从开放世界到目标学习任务

作者列表：王秋锋 (东南大学)，耿新 (东南大学)，林淑霞 (东南大学)，夏诗禹 (东南大学)，祁磊 (东南大学)，徐宁 (东南大学)

B站观看网址：

https://www.bilibili.com/video/BV1cF411b7oX/

论文摘要：

深度学习技术已在固定的大规模数据集上展现出优异的性能。然而在开放世界场景中，该技术通常面临着不能正确识别未知类别、过度参数化和过拟合小样本等挑战。现实场景中的生物系统可以很好地克服上述困难，这是因为生物个体可以继承来自集体种群通过数亿年进化浓缩出的基因，然后通过几个样例学习新技能。受此启发，我们提出了一种实用的集体个体学习范式。其中可扩展的集体模型在任务上持续训练，然后再识别现实世界中的未知类别。此外，我们提出了学习基因的概念，即学习目标模型初始化规则的基因。学习基因首先继承来自集体模型的元知识，然后在目标任务上重建一个轻量级的个体模型。特别地，根据梯度信息，我们提出了一种新的标准来发现集体模型中的学习基因。最后，针对目标学习任务的个体模型仅使用少量样本即可完成训练。我们通过实验结果和理论分析证明了我们方法的有效性。

论文信息：

[1] Qiufeng Wang, Xin Geng, Shuxia Lin, Shiyu Xia, Lei Qi and Ning Xu. " Learngene: From Open-World to Your Learning Task" In Proceedings of the 36th AAAI Conference on Artificial Intelligence (AAAI’22), online, 2022.

论文链接：

[https://www.aaai.org/AAAI22Papers/AAAI-3013.WangQ.pdf]

代码链接：

[https://github.com/BruceQFWang/learngene]

视频讲者简介：

王秋锋，东南大学计算机学院博士生，研究方向是机器学习，目前专注于元学习和持续学习。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：丁长兴 (华南理工大学)、彭春蕾 (西安电子科技大学)

季度责任AC：杨猛 (中山大学)