VALSE 论文速览 第42期：K-shot NAS：基于K组神经网络学习NAS的可学习的权重共享方式 ...

论文题目：K-shot NAS：基于K组神经网络学习NAS的可学习的权重共享方式

作者列表：苏修 (悉尼大学)，游山 (商汤科技，清华大学)，郑明凯 (商汤科技)，王飞 (商汤科技)， 钱晨 (商汤科技)，张长水 (清华大学)，徐畅 (悉尼大学)

B站观看网址：

https://www.bilibili.com/video/BV1nY411h7ZL/

论文摘要：

在 one-shot NAS权重共享中，每个operation的权重对于超网中的所有架构 (路径)都应该是相同的。然而，这排除了调整operation权重以适应不同路径的可能性，从而限制了评估结果的可靠性。在本文中，我们不依赖于单个超网，而是引入了K-shot 超网，并将它们对每个operation的权重作为字典。基于一个单纯形的字典，每条路径的operation权重表示为字典中项目的凸组合。这使得合成的超网络能近似具有更高秩 (K>1)的独立权重矩阵。我们引入了单纯形网络来为每个路径生成架构定制代码。因此，所有子结构都可以自适应地学习如何在 K-shot 超网中共享权重并获取相应的supernet权重以进行更好的评估。K-shot 超网和单纯形网络可以迭代训练，我们进一步将搜索扩展到通道维度。对基准数据集的大量实验证实，K-shot NAS 有效提高了路径的评估精度，从而带来了显著的性能提升。

论文信息：

[1]Su, X., You, S., Zheng, M., Wang, F., Qian, C., Zhang, C., and Xu, C. K-shot NAS: learnable weight-sharing for NAS with k-shot supernets. In Meila, M. and Zhang, T. (eds.), Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, volume 139 of Proceedings of Machine Learning Research, pp. 9880–9890. PMLR, 2021. URL http://proceedings.mlr.press/v139/su21a.html.

论文链接：

[proceedings.mlr.press/v139/su21a/su21a.pdf]

视频讲者简介：

苏修，目前在悉尼大学攻读博士，主要从事AutoML领域中模型压缩和神经网络结构搜索等方向的研究，已在CVPR、ICLR、ICML上发表多篇paper。

个人主页：

https://xiusu.github.io

特别鸣谢本次论文速览主要组织者：

月度轮值AC：董宣毅 (Amazon)、谢凌曦 (华为数字技术有限公司)

季度责任AC：许永超 (武汉大学)