VALSE 论文速览 第119期：基于随机归一化层聚合的对抗抵御方法 ...

论文题目：基于随机归一化层聚合的对抗抵御方法

作者列表：

董旻京 (悉尼大学)、陈醒濠 (华为诺亚)、王云鹤 (华为诺亚）、徐畅 (悉尼大学)

B站观看网址：

https://www.bilibili.com/video/BV1iP411679A/

论文摘要：

神经网络的脆弱性在不同网络和任务中都被发现广泛存在，其表现为输入上的微小扰动可以导致网络错误的预测。而这部分带有扰动的样本被称为对抗样本，在这些对抗样本中存在一些有趣的性质，其中一种是对抗迁移性，即对抗样本使得其他不同模型预测错误的能力。传统上，这种对抗迁移性对于抵御对抗攻击来说被认为是一种严重的威胁，但我们认为从一种全新的角度去看，通过利用对抗迁移性，网络的对抗抵御能力可以被极大地提升。在我们的工作中，我们首先讨论了不同种类的归一化层对于对抗迁移性的影响。同时，我们通过实验观察以及理论分析去进一步阐明归一化层种类与对抗迁移性之间的联系。通过这部分的观察与分析，我们提出了一种基于随机归一化层聚合的对抗抵御方法Random Normalization Aggregation (RNA)。它将原本网络中的Batch Normalization (BN)层替换为一组不同种类的归一化层，以此形成一个随机的空间。具体而言，一条新的随机路径会在每次推理阶段被采样，而整个模型可以被看作是大量不同模型的整合，这些模型只有归一化层不同，其他参数共享。对抗攻击在这种环境下等价于将某一个路径下生成的对抗样本迁移到另外一个新的路径上，即对抗迁移性。通过降低整个随机空间的对抗迁移性，模型的对抗抵御能力在白盒或者黑盒攻击下都可以获得极大的提升。我们通过大量的实验验证了这种方法的有效性以及优越性。

论文信息：

[1] M. Dong, X. Chen, Y. Wang and C. Xu. Random Normalization Aggregation forAdversarial Defense. InNeurIPS, 2022.

论文链接：

[https://openreview.net/forum?id=K4W92FUXSF9]

代码链接：

[https://github.com/UniSerj/Random-Norm-Aggregation]

视频讲者简介：

董旻京，悉尼大学计算机科学学院博士三年级，师从徐畅老师。主要研究方向为对抗鲁棒性，人体运动预测，模型校准，以及高效神经网络。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：汪婧雅 (上海科技大学)、刘宇 (大连理工大学)