VALSE 论文速览 第44期：带有批归一化的网络架构搜索

论文题目：BN-NAS: Neural Architecture Search with Batch Normalization

作者列表：陈博宇 (悉尼大学)，李佩霞 (悉尼大学)，李抱朴 (百度美国研究院)，林宸 (牛津大学)，李楚鸣 (商汤科技，悉尼大学)，孙明 (商汤科技)，闫俊杰 (商汤科技)，欧阳万里 (悉尼大学)

B站观看网址：

https://www.bilibili.com/video/BV12q4y1k7Cs/

论文摘要：

我们提出了BNNAS，使用批归一化操作进行的网络结构搜索算法，大幅加速了网络结构搜索的过程。BNNAS可以显著地减少在网络结构搜索中模型训练以及评估所需要的用时。特别地，针对模型的评估，我们提出了BN指示器用于在训练的早期阶段进行网络性能的评估。此外，BN指示器也使得我们可以在超网训练时只进行BN参数的训练，从而大幅提升训练效率。我们发现训练超网的所有参数并不是一件必要的事情，只训练BN参数对于网络结构搜索来说反而会加速网络的收敛。大量的实验表明了我们的方法可以在保持性能不变的前提下，大幅提升网络结构搜索的效率：超网搜索阶段的效率提升超过10倍，子网搜索阶段的效率超过60万倍。

论文信息：

[1] Chen B, Li P, Li B, et al. Bn-nas: Neural architecture search with batch normalization[C] /Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 307-316.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Chen_BN-NAS_Neural_Architecture_Search_With_Batch_Normalization_ICCV_2021_paper.pdf]

代码链接：

https://github.com/bychen515/BNNAS

视频讲者简介：

陈博宇，悉尼大学博士生三年级。研究方向为计算机视觉和图像处理，目前专注于神经网络结构搜索及图像特征学习。已在ICCV，ECCV等国际顶级会议上发表多篇文章。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：董宣毅 (Amazon)、谢凌曦 (华为数字技术有限公司)

季度责任AC：许永超 (武汉大学)