VALSE Webinar 24-30期 总第365期 无监督学习前沿进展

报告嘉宾：刘新旺 (国防科技大学)

报告题目：基于大模型的图学习

报告嘉宾：孙亚楠 (四川大学)

报告题目：神经架构搜索的高效性能预测器

报告嘉宾：李长升 (北京理工大学)

报告题目：无监督主动学习前沿技术进展

报告嘉宾：刘新旺 (国防科技大学)

报告时间：2024年10月16日 (星期三)晚上20:00 (北京时间)

报告题目：基于大模型的图学习

报告人简介：

刘新旺，国家自然科学基金杰出青年基金、优秀青年基金获得者。主要研究兴趣包括机器学习、数据挖掘等。近五年以第一或通讯作者在CCF A类顶刊和顶会上发表论文80余篇，包括IEEE TPAMI论文10篇，含3篇独立作者。ESI高被引论文12篇。谷歌学术引用一万七千余次，入选2022-2023年度全球2%顶尖科学家榜单。担任IEEE TNNLS、IEEE TCYB、Information Fusion等期刊AE及ICML、NeurIPS等顶会的资深程序委员/领域主席。部分研究成果曾两次获得湖南省自然科学一等奖（2/6、6/6）。

个人主页：

https://xinwangliu.github.io/

报告摘要：

本次报告探讨了基于大模型的图学习在多视图聚类和知识图谱等领域的应用与发展。首先，回顾了本课题组在多视图聚类的融合机理、非完整多视图聚类、深度聚类等方面取得的系列性创新成果：建立了如何充分利用不同类型特征来改进聚类性能的新理论、提出了面向聚类填充来应对非完整多视图聚类的新方法、探索了从原始数据中学习特征来最优地服务于聚类的新应用。随后，系统地讨论了知识图谱推理技术，探讨了如何通过图学习模型来增强知识图谱的准确性与完备性。最后，本报告总结了基于大模型的图学习在各个领域的潜在挑战及未来发展方向，为相关研究提供了有价值的参考与启示。

参考文献：

[1] Xinwang Liu. Simplemkkm: Simple multiple kernel k-means[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 45(4): 5174-5186.

[2] Ke Liang, Lingyuan Meng, Meng Liu, Yue Liu, Wenxuan Tu, Siwei Wang, Sihang Zhou, Xinwang Liu, Fuchun Sun, Kunlun He: A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multi-Modal. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024.

[3] Weixuan Liang, Xinwang Liu*, Yong Liu, Sihang Zhou, Jun-Jie Huang, Siwei Wang, Jiyuan Liu, Yi Zhang, En Zhu: Stability and Generalization of Kernel Clustering: from Single Kernel to Multiple Kernel, Advances in NeuralInformation Processing Systems (NeurIPS), 2022.

[4] Xinwang Liu, Li Liu, Qing Liao, Chang Tang, Siwei Wang, Wenxuan Tu, Jiyuan Liu, Yi Zhang, En Zhu: One Pass Late Fusion Multi-view Clustering, International Conference on Machine Learning (ICML), 2021.

报告嘉宾：孙亚楠 (四川大学)

报告时间：2024年10月16日 (星期三)晚上20:30 (北京时间)

报告题目：神经架构搜索的高效性能预测器

报告人简介：

孙亚楠，四川大学计算机学院教授、博导；国家青年人才计划入选者，教育部机器学习与工业智能应用工程中心副主任；IEEE Transaction on Evolutionary Computation副主编，IEEE Transaction on Neural Networks and Learning Systems副主编。研究方向是神经网络、进化计算，及其在神经架构搜索方面的应用，近五年以第一/通讯作者在IEEE汇刊和CCF-A类会议/期刊论文40余篇，其中8篇次选了ESI高被引论文和ESI热点论文，4篇入选IEEE计算智能学会研究前沿论文，2篇获得国际会议Best/Spotlight Paper，在Springer出版英文专著1部。

个人主页：

https://yn-sun.github.io

报告摘要：

神经架构搜索（Neural Architecture Search，NAS）是一种自动化设计神经网络架构的技术，自谷歌公司于2016年提出后即受到学术界和工业界的广泛关注，大量针对不同场景的NAS算法被相继提出。然而，NAS在迭代运行过程中需要对每一个候选神经网络进行训练，导致NAS算法运行需要大量计算资源，效率低。性能预测器不用训练神经网络，即可直接给出该神经网络的性能预测值，在提升NAS运行效率方面有着极大的潜能，然而性能预测器的构建也面临着计算代价昂贵以及小样本的问题。本报告将介绍团队近年在性能预测器方面的研究进展。

参考文献：

[1] Xie, Xiangning, Xiaotian Song, Zeqiong Lv, Gary G. Yen, Weiping Ding, and Yanan Sun. "Efficient evaluation methods for neural architecture search: A survey." IEEE Transactions on Artificial Intelligence, 2024.

[2] Ji, Han, Yuqi Feng, and Yanan Sun. "CAP: A Context-Aware Neural Predictor for NAS." IJCAI, 2024.

[3] Liu, Yuqiao, Yehui Tang, Zeqiong Lv, Yunhe Wang, and Yanan Sun. "Bridge the gap between architecture spaces via a cross-domain predictor." Advances in Neural Information Processing Systems, 35: 13355-13366, 2022.

报告嘉宾：李长升 (北京理工大学)

报告时间：2024年10月16日 (星期三)晚上21:00 (北京时间)

报告题目：无监督主动学习前沿技术进展

报告人简介：

李长升，北京理工大学计算机学院教授，博士生导师，国家基金委优秀青年基金获得者。2013年于中科院自动化所取得工学博士学位。在加入北京理工大学之前，先后在IBM研究院，阿里巴巴达摩院，以及电子科技大学计算机科学与工程学院工作。主要研究方向包括机器学习、数据挖掘、计算机视觉等。在CCF A/IEEE汇刊等国际顶级会议及期刊上发表学术论文100余篇。其中，以第一作者发表CCF A/IEEE汇刊18篇。先后主持国家自然科学基金优秀青年科学基金、国家重点研发计划课题等项目10余项；参与国家自然科学基金重点项目、173国防基础加强重点项目、装发装备技术基础等。授权中国、美国、日本等国内外发明专利50余件。现担任多个国际顶级期刊和会议的审稿人、程序委员会委员、高级委员、领域主席等。

谷歌学术：

https://scholar.google.com/citations?hl=en&user=FfJnUioAAAAJ&view_op=list_works&sortby=pubdate

学校主页：

https://cs.bit.edu.cn/szdw/jsml/gjjgccrc/lcs_e253eb02bdf246c4a88e1d2499212546/index.htm 

报告摘要：

主动学习技术旨在选择具有代表性的样本供人工标注，从而在大幅降低样本标注成本的同时，保证后续预测模型的性能。近年来，主动学习技术在图像和视频任务中的应用（包括图像分类、语义分割、目标跟踪、动作识别、视频检索等）取得了快速进展。然而，设计更有效的主动学习算法仍有很大的空间。在本次报告中，我们将介绍无监督主动学习的前沿技术进展，以及我们在这一研究方向的一些工作。

参考文献：

[1] Changsheng Li, Handong Ma, Ye Yuan, Guoren Wang, Dong Xu, “Structure Guided Deep Neural Network for Unsupervised Active Learning.” IEEE TIP, 2022.

[2] Changsheng Li, Rongqing Li, Ye Yuan, Guoren Wang, Dong Xu, “Deep Unsupervised Active Learning on Learnable Graphs,” IEEE TIP, 2021.

[3] Changsheng Li, Kaihang Mao, Lingyan Liang, Dongchun Ren, Wei Zhang, Ye Yuan, Guoren Wang, “Unsupervised Active Learning via Subspace Learning,” AAAI 2021.

[4] Changsheng Li, Handong Ma, Zhao Kang, Ye Yuan, Xiaoyu Zhang, Guoren Wang, “On Deep Unsupervised Active Learning,” IJCAI, 2020.

主持人：唐厂 (中国地质大学(武汉))

主持人简介：

唐厂，中国地质大学（武汉）计算机学院教授，博士生导师，2016年博士毕业于天津大学，2014年9月-2015年9月在澳大利亚卧龙岗大学联合培养学习一年，入选2019年湖北省“楚天学子”和武汉市青年科技朝阳计划，IEEE、CCF高级会员。从事模式识别和机器学习领域的多视图聚类分析方面的研究，发表学术论文100余篇（包括TPAMI、TKDE、TIP、CVPR、IJCAI、AAAI等），其中ESI高被引论文9篇，ESI热点论文1篇，谷歌学术总引6200余次，获授权中国发明专利20余项。主持国家自然科学基金项目3项，CAAI-华为MindSpore学术奖励基金研究课题以及山东省自然科学基金创新发展联合基金等项目。担任CCF-NCTCS和CCF-AI专委执行委员，CSIG青工委委员，VALSE执行领域主席委员会委员以及Neural Networks和CAAI Transactions on Intelligence Technology等期刊编委，国际数字图像处理大会ICDIP 2022/2023/2024程序主席。获2023年度湖北省自然科学三等奖（序1）和ACAIT 2021最佳论文奖。研究成果落地于亚马逊等企业以及国防应用。

个人主页：

www.tangchang.net

特别鸣谢本次Webinar主要组织者：

主办AC：唐厂 (中国地质大学(武汉))