营口建设工程信息网站,淘宝店铺怎么引流推广,风向 网站,vs c 网站开发原文来源#xff1a;arXiv 作者#xff1a;Alex Lamb、Jonathan Binas、Anirudh Goyal、Dmitriy Serdyuk、Sandeep Subramanian、Ioannis Mitliagkas、Yoshua Bengio「雷克世界」编译#xff1a;嗯~是阿童木呀、KABUDA、EVA导语#xff1a;深度神经网络在各种各样的重要任… 原文来源arXiv 作者Alex Lamb、Jonathan Binas、Anirudh Goyal、Dmitriy Serdyuk、Sandeep Subramanian、Ioannis Mitliagkas、Yoshua Bengio「雷克世界」编译嗯~是阿童木呀、KABUDA、EVA导语深度神经网络在各种各样的重要任务中取得了令人印象深刻的成果。但有一点对不同于训练分布的数据进行评估时表现并不是很好。最近蒙特利尔算法学习研究所提出了一种强化网络它能够有效提高现有深度神经网络的鲁棒性。众所周知深度网络已经在各种各样的重要任务中取得了令人印象深刻的成果。然而其一个已知的弱点是在对不同于训练分布的数据进行评估时即使这些差异非常小仍然表现不佳比如对抗样本。我们提出了强化网络Fortified Networks它是现有网络的一个简单转化通过识别隐藏状态在数据流形中断开的时间并将这些隐藏状态映射回到网络运行良好的数据流的部分加强了深度网络中的隐藏层。我们的主要贡献是表明了强化这些隐藏状态可以提高深度网络的鲁棒性我们的实验•证明了在黑盒和白盒威胁模型中针对标准对抗攻击的鲁棒性有所提高。•表明了我们的改进并非主要是由于梯度掩码问题引起的。•显示了在隐藏层而不是输入空间中进行这种强化的优点。深度神经网络在各种各样的任务中都非常成功。这一成功也推动了其在可靠性和安全性至关重要的领域中的应用包括自动驾驶汽车Bojarski等人于2016年提出、医疗保健、人脸识别Sharif等人于2017年提出以及恶意软件检测LeCun等人于2015提出。当使用该系统的智能体可以从系统的不佳表现中受益时就会出现安全问题。当训练期间所看到的输入数据的分布与进行评估模型的分布不同时就会出现可靠性问题。对抗样本Adversarial examplesGoodfellow等人于2014年提出是一种攻击神经网络模型的方法。这种攻击对输入应用了一个小的干扰从而改变预测的类。值得注意的是这个干扰有可能非常小以至于肉眼不可见。研究表明简单的梯度方法可以让人找到经常改变输出类的输入的修改Szegedy等人于2013年提出; Goodfellow 等人于2014年提出)。最近更多的研究表明即使在相机上显示时创建一个补丁也是可能的它也会以高度的置信度来改变输出类Brown等人于2017年提出。作为回应针对对抗样本的防御已经被研发出来。一些最突出的防御类包括特征压缩Xu等人于2017年提出、输入的自适应编码雅各布巴克曼2018年和与精炼相关的方法Papernot等人于2015年提出。现有的防御系统提供了一定程度的鲁棒性但大多数都不容易部署。此外很多已经被证明易受梯度掩码的影响。还有其他一些则需要直接在可视的空间中训练生成模型即使在相对简单的数据集上这在当前仍然是很困难的。我们的目标是提供一种方法•可以被广泛地添加到现有网络中。•使该网络具有鲁棒性以抵御对抗攻击。•提供一个可靠的信号表明输入数据的存在而这些数据并不位于网络所训练的数据流上。将生成模型的能力直接用于输入数据以提高鲁棒性并不新鲜。我们的主要贡献是在所学习的隐藏表征的分布上使用了这种鲁棒化而不是让断开数据流的识别变得更容易如图1所示。图1.输入空间顶部和抽象隐藏空间底部中自动编码器动态示意图。最左侧的面板显示来自三个不同类的数据点中间面板显示描述自动编码器动态的向量场。最右侧面板显示一系列结果轨迹和吸引域。强化网络背后的主要动机是在具有更简单统计结构的抽象空间中更容易识别出指向数据流形成的方向从而更容易将对抗样本映射回投影的数据流形。我们提出了强化网络。这一强化包括使用去噪自动编码器来“修饰”原始网络的隐藏层。我们在Pythonic的意义上使用“修饰”它可以用于任何函数在本例中是网络的一部分并且在不大幅修改它的情况下扩展它的行为。因此强化需符合上述三个目标。我们探讨了隐藏层强化背后的直觉并给出了该方法的一些显著特性。我们在MNIST、Fashion-MNIST和CIFAR10数据集上针对白盒和黑盒攻击对我们所提出的方法进行了评估。图2.一个映射回可视空间左和隐藏空间右的流形过程的示例。阴影区域表示空间中被给定类的数据点所占据的区域它们不表示决策边界可以这样说防范对抗性样本在关键任务应用程序中至关重要。我们提出了一种强化网络它是一种能够提高现有的深度神经网络鲁棒性的简单方法。我们的方法具有以下特点•实用性强化现有网络需要在网络的隐藏层之间引入DAE并且能够实现自动化。我们正在准备一个PyTorch模块它将真正做到这一点并将在短期内发布在深度学习社区以供使用。此外测试时的DAE重构误差是分布移位的可靠信号这与训练期间遇到的情况有所不同。高误差可能意味着对抗攻击或显著的域移位这二者都是分析人员或系统需要注意的重要情况。•有效性我们展示的结果完善了MNIST对抗攻击的最新技术水平同时也改进了在CIFAR和Fashion-MNIST上进行执行的结果。•局限性该方法的成本是由于搜索对抗性样本和训练自动编码器而延长了训练时间。相比于对抗训练强化层本身的附加成本相对较低并且比在输入空间中训练一个完整的生成式模型如GAN容易得多也简单得多。层强化通常涉及较小的DAE所需计算量较小。此外我们通过只增加两个强化层对Res Net做了一些改进因此计算成本的变化非常小。同时强化网络只有在与对抗训练同时使用时才能提高鲁棒性这对于迭代攻击而言是非常昂贵的。原文链接https://arxiv.org/pdf/1804.02485.pdf未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
