即使到现在，几乎所有的输入都可以愚弄对象识别模型。以至于当对象识别正确工作的时候我们都无比惊讶。今天，通过一些基准测试测量，对象识别算法的识别能力已经达到人类的水准了，让我们感到惊讶的是，在非正常的输入情况上，对象识别却表现的不尽人意。
对抗性实例是通过稍微修改实例而构造出的综合实例，以便使一个分类器以高置信度认为它们属于错误的分类。垃圾类的实例（如愚弄图片）是病态实例，即使它们不属于任意一个类，分类模型都会把它们以高置信度划分到某一个类别中去。
图1：一个对抗性实例，修改一张熊猫的图片，让机器学习模型将它识别成一只长臂猿。
使用32位浮点值作为网络的输入来执行修改，这个改变是如此的小以至于不会改变出版图像的8位表示。更多细节请参考
这篇论文。
这些错误抓住了公众的想象力。在兴奋之余，关于对抗性实例的一些误解已经广泛传播。在这篇博客中，我列出了其中的一些误解。
1. 神话：对抗性实例并不重要，因为它们不会出现在实践中。
事实：的确，对抗性实例是不太可能自然发生。然而，对抗性实例至关重要，因为训练一个模型来抵制它们，可以提高其非对抗性实例的准确性。对抗性实例也可以在实践中发生，如果它们的确是对抗性的。例如垃圾邮件发送者试图骗过垃圾邮件检测系统。
2. 神话：深度学习比其他类型的机器学习更容易受到对抗性实例的干扰。
事实：到目前为止，我们已经能够为我们测试过的每一个模型生成对抗性实例，包括像最邻近这样的最传统的机器学习模型。深度学习是目前为止对对抗训练最有抵抗性的技术。
3. 神话：对抗性实例是由极度非线性深度模型导致。
事实：我们最近的实验表明，深度模型的表现是非常线性的。线性模型在远离数据中心的区域有着极度的优势。这也解释了对抗性和垃圾分类例子中发生错误的原因。
图2：我们可以描绘出一个输入空间中的线性路径，通过对一张清晰的汽车图像添加不同的对抗性微扰。这里，我们将比例因子范围从-10到+10来绘制出这条线性路径。我们看到，网络的logits输出在远离数据中心的地方表现为线性性质。这将导致网络的预测变得极端，垃圾类输入数据以高置信度归为有意义分类。
4. 神话：对抗性实例在小数据中很难找到或发生。
事实：空间中的大多数任意点都被误判。例如，我们测试的一个网络，把大约70%的噪声样本以高置信度归类为马。
5. 神话：我们能做到最好的是识别和拒绝处理对抗性实例。
事实：拒绝处理对抗性实例比将它错误分类要好，不过这不是一个令人满意的解决方案。如果真是一个对抗性实例，如垃圾邮件发送者，对抗性实例仍然可以通过产生系统拒绝分类的例子而占优势。我们知道这可能是正确分类的对抗性实例，因为人不会被它们迷惑，这也是我们设计模型的目标。
6. 神话：攻击者必须访问到模型才能产生对抗性实例。
事实：对抗性实例在整个网络中扩散，用来训练执行相同的任务，即使这些模型有不同的架构，由不同训练数据集训练。这意味着攻击者可以训练自己的模型，产生对抗性模型来对抗目标模型，然后将这些对抗性实例部署到他们不能访问的模型中。
7. 神话：对抗性实例可以很容易地用标准正则化技术解决。
事实：我们已经测试了几种传统的正则化策略，包括均化多模型，均化多个图像的某些部分，用时延权重或噪声训练模型，通过生成模型的推断进行分类，结果均以失败告终。
8. 神话：没人知道是否人脑也会犯相似的错误。
事实：神经学家和心理学家通常研究幻觉和认知偏差。虽然我们无法进入我们的大脑，但是我们可以确认我们没有像现代机器学习那样被同一种对抗性实例所影响。如果我们的大脑和机器学习模型一样犯了同样的错误，那么对于机器学习模型，由于交叉模型的泛化属性，对抗性实例将会使我们产生视觉错觉。
总之，对抗性实例是一个顽固的问题，研究如何克服它们可以帮助我们避免潜在的安全问题，并且会让机器学习算法对它们所要解决的问题有一个更准确的了解。
作者简介：Ian Goodfellow是谷歌的一位研究科学家。2014年在蒙特利尔大学获得了机器学习博士学位，在那里他是Yoshua Bengio小组成员，他同样获得了斯坦福大学的学士学位与硕士学位。
发表于 2015-7-20 10:40:49
