VALSE 论文速览第13期：基准化分析网络结构搜索算法在拓扑结构和网络尺寸上的应用 ...

2021-9-10 11:22| 发布者: 程一-计算所| 查看: 859| 评论: 0

摘要: 为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE ...

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自悉尼科技大学（UTS）的工作。该工作由悉尼科技大学研究员董宣毅录制，将为大家呈现神经网络结构搜索领域的进展。

论文题目：基准化分析网络结构搜索算法在拓扑结构和网络尺寸上的应用

作者列表：Xuanyi Dong (UTS), Lu Liu (UTS), Katarzyna Musial (UTS), Bogdan Gabrys (UTS)

B站观看网址：

https://www.bilibili.com/video/BV1Pb4y127Cy/

论文摘要：

网络结构搜索算法吸引了诸多注意，近年来在大量的应用中展示了显著的益处。神经网络的拓扑结和尺寸大小被视为影响深度学习模型性能的两个（最）重要因素。目前已经有很多搜索网络结构或者尺寸的算法被提出。然而，很多搜索算法带来的性能提升是在不同的搜索空间和训练设置下达到的。这使得，在某种程度上，这些算法的整体性能是不可比的，来自算法中每个子模块带来的性能提升不甚清晰。在本文中，我们提出了NATS-Bench，一个针对搜索网络拓扑结构和尺寸的统一基准，该基准对任何网络搜索算法都适用。NATS-Bench包含了一个包含15625种不同网络拓扑的搜索空间和一个包含了32768种不同网络尺寸的搜索空间。两个空间中近五万种候选网络都在3个数据集上进行充分的训练和测试。我们在多种指标和性能对比下分析了我们NATS-Bench的有效性。我们也通过基准分析13种最近的网络结构搜索算法验证了NATS-Bench的多功能性。每个候选网络的所有训练测试日志和各种诊断信息都在NATS-Bench中提供了。这促进了一个更大的科研社区来专注于研发更好的网络结构搜索算法，在一个更加可比的和计算友好环境中。所有的代码都已在github.com/D-X-Y/NATS-Bench和github.com/D-X-Y/AutoDL-Projects内开源。该文章于年初被IEEE TPAMI所收录。

论文信息：

[1] Xuanyi Dong, Lu Liu, Katarzyna Musial, Bogdan Gabrys, “NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size,” in IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI), Jan 2021.

论文链接：

[https://ieeexplore.ieee.org/document/9336247]

[https://arxiv.org/abs/2009.00437]

项目主页：

[https://github.com/D-X-Y/NATS-Bench]

[https://github.com/D-X-Y/AutoDL-Projects]

视频讲者简介：

董宣毅，悉尼科技大学计算机系四年级博士生。他在科技企业，如谷歌，脸书，百度等，有五年的业界经验。读博期间在CVPR/NeurIPS/ICLR/TPAMI等顶会顶刊发表文章20+篇，谷歌引用2500余次。曾分别在2019年和2020年获得过Google Ph.D. Fellowship和百度奖学金。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：沈为 (上海交通大学)、赵恒爽 (牛津大学)

季度责任AC：王兴刚 (华中科技大学)

活动参与方式