南昌免费做网站,营销网站的筛选,做打鱼网站需要多少钱,金馆长做图网站来源#xff1a;混沌巡洋舰自从深度学习只能识别支票和信封上的手写字母以来#xff0c;它已经取得了长足的进步。今天#xff0c;深度神经网络已经成为许多计算机视觉应用的关键组成部分#xff0c;从照片和视频编辑器到医疗软件和自动驾驶汽车。神经网络大致模仿了大脑的… 来源混沌巡洋舰自从深度学习只能识别支票和信封上的手写字母以来它已经取得了长足的进步。今天深度神经网络已经成为许多计算机视觉应用的关键组成部分从照片和视频编辑器到医疗软件和自动驾驶汽车。神经网络大致模仿了大脑的结构已经更接近于像人类一样看待世界。但是它们还有很长的路要走而且它们在人类永远不会犯错的情况下也会犯错。这些情况通常被称为对抗性样本以令人困惑的方式改变了人工智能模型的行为。对抗性的机器学习是当前人工智能系统的最大挑战之一。它们可能导致机器学习模型以不可预知的方式失败或者变得容易受到网络攻击。对抗性样本的例子: 在这张熊猫照片中加入一层难以察觉的噪音会让卷积神经网络误以为它是长臂猿。创建能够抵御敌对攻击的人工智能系统已经成为一个活跃的研究领域和人工智能会议的热门话题。在计算机视觉中保护深度学习系统免受对抗性攻击的一个有趣的方法是应用神经科学的发现来缩小神经网络和哺乳动物视觉系统之间的差距。麻省理工学院(MIT)和 MIT-ibm 沃森人工智能实验室(Watson AI Lab)的研究人员利用这种方法发现将哺乳动物视觉皮层的特征直接映射到深层神经网络可以创建出行为更可预测、更能抵御对抗性样本的 AI 系统。在 bioRxiv 预印本服务器上发表的一篇论文中研究人员介绍了 VOneNet一种结合了当前深度学习技术和神经科学启发的神经网络的架构。https://www.biorxiv.org/content/10.1101/2020.06.16.154542v1这项工作是在慕尼黑大学、路德维希马克西米利安大学和奥格斯堡大学的科学家的帮助下完成的并被去年举行的 NeurIPS 2020大会接受。当今计算机视觉的主要体系结构是卷积神经网络(CNN)。当卷积层叠加在一起时可以学习和提取图像中的层次特征。较低的图层找到一般的模式如角落和边缘而较高的图层逐渐变得善于找到更具体的东西如物体和人。神经网络的每一层都将从输入图像中提取特定的特征。与传统的全连接网络相比卷积神经网络已被证明是更加健壮和计算效率更高的。但是 cnn 和人类视觉系统处理信息的方式仍然存在根本的区别。IBM 麻省理工学院沃森人工智能实验室(mit-IBM Watson AI Lab)主任David Cox向 TechTalks 表示: “深层神经网络(尤其是卷积神经网络)已经成为视觉皮层令人惊讶的优秀模型它们往往更适合从大脑中收集的实验数据甚至比专门用于解释神经科学数据的计算模型更好。”。“但并不是所有的深层神经网络都能很好地匹配大脑数据而且大脑和 dnn 之间存在一些持久的差异。”其中最突出的差距是对抗性的例子在这些例子中微小的干扰如一小块或一层不易察觉的噪音可能导致神经网络错误分类他们的输入。这些变化通常不为人们所注意。对抗性攻击停止标志人工智能研究人员发现通过在停车标志上添加小小的黑白贴纸他们可以使计算机视觉算法无法识别出这些标志。“可以肯定的是能够欺骗dnn的图像永远不能欺骗我们自己的视觉系统”Cox说。“还有一种情况是dnn 对图像的自然退化(例如添加噪声)非常脆弱因此对 dnn 来说鲁棒性通常似乎是一个悬而未决的问题。考虑到这一点我们认为这是一个寻找大脑和 dna 之间差异的好地方这可能有所帮助。”David CoxIBM mit-IBM Watson AI 实验室主任在这项新的研究中Cox 和 DiCarlo 与论文的主要作者 Joel Dapello 和 Tiago Marques 一起研究当与大脑活动相似时神经网络是否能够更强大地抵御敌对性攻击。人工智能研究人员测试了几个流行的 CNN 架构训练的 ImageNet 数据集包括 AlexNetVGG和不同的变化的 ResNet。他们还测试了一些经历过“对抗性训练”的深度学习模型在这个过程中一个神经网络使用对抗性的样本进行训练以避免对它们的错误分类。文中使用 BrainScore 度量评估了人工智能模型该度量比较了深层神经网络的激活和大脑的神经反应。然后通过测试每个模型对抗白盒对抗性攻击(攻击者完全了解目标神经网络的结构和参数)的鲁棒性来衡量它们的健壮性。Cox说: “令我们惊讶的是神经网络越像大脑系统就越能抵御对抗性的攻击。”。“受此启发我们想知道是否有可能通过在网络的输入阶段增加一个与早期视觉皮层更为类似的处理层来提高鲁棒性(包括对抗性鲁棒性)。”神经网络对抗性的强健性研究表明大脑得分越高的神经网络对抗白箱对抗性攻击的能力越强。为了进一步验证他们的发现研究人员开发了 VOneNet这是一种混合的深度学习架构它将标准的神经网络与一层受神经科学启发的神经网络相结合。用 VOneBlock 取代了 CNN 的前几层VOneBlock 是一种神经网络结构它是以灵长类动物的初级视觉皮层也被称为 V1区域而形成的。这意味着图像数据首先由 VOneBlock 处理然后传递到网络的其余部分。VOneBlock 本身由 Gabor 滤波器组(GFB)、简单细胞复细胞非线性处理层以及随机性神经元组成。GFB 类似于其他神经网络中的卷积层。但是经典的神经网络从随机参数值开始并在训练中调整它们时GFB 参数值的确定和固定是基于我们所知道的初级视觉皮层的激活。VOneBlock 体系结构VOneBlock 是一种模仿初级视觉皮层功能的神经网络结构。“VOneBlock 的网络权重即架构设计完全依据于生物学。这意味着我们对 VOneBlock 的所有选择都受到了神经生理学的限制。换句话说我们设计 VOneBlock 是为了尽可能地模仿灵长类动物的初级视觉皮层(V1区)。我们考虑了过去40年来从几项研究中收集的可用数据以确定 VOneBlock 参数。虽然不同灵长类动物的视觉皮层存在显著差异但也存在许多共同特征尤其是 V1区。“幸运的是灵长类动物之间的差异似乎很小事实上有大量研究表明猴子的物体识别能力与人类相似。在我们的模型中我们使用了已发表的描述猴子 V1神经元反应的可用数据。尽管我们的模型仍然只是灵长类动物 V1的近似值(它不包括所有已知数据甚至这些数据也有一定的局限性ーー对于 V1的处理我们仍然有很多不知道的地方) 但它是一个很好的近似值”。在 GFB 层之外VOneBlock 中的简单细胞和复杂细胞为神经网络提供了在不同条件下检测特征的灵活性。“最终目标是在独立于它们的确切形状、大小、位置和其他低级特征时识别物体的存在。在 VOneBlock 中看起来简单的和复杂的细胞在不同的图像扰动下都起到了互补的作用。简单细胞对于处理常见的数据缺失而复杂细胞对应对白盒式对抗性攻击尤为重要。”VOneNet的性能对比VOneBlock 的优势之一是它与当前 CNN 架构的兼容性。“ VOneBlock 被设计成具有即插即用的功能” Marques 说。”这意味着它直接替换标准 CNN 结构的输入层。VOneBlock 核心之后的转换层确保其输出可以与 CNN 体系结构的其余部分兼容。”研究人员将 VOneBlock 插入到几个 CNN 体系结构中这些体系结构在 ImageNet 数据集上运行良好。有趣的是增加这个简单的块导致相当显著的提高了对白箱对抗性攻击的鲁棒性和优于训练为基础的防御方法。研究人员在他们的论文中写道: “在标准的 CNN 架构前模拟灵长类初级视觉皮层的图像处理显著地提高了它们对图像扰动的鲁棒性甚至使它们超越了最先进的防御方法。”。实验表明经过修改的卷积神经网络包含 VOneBlock能够更好地抵御白盒对抗性攻击。“我们在这里添加的 V1模型实际上非常简单ーー我们只改变系统的第一阶段而不改变网络的其余部分而且这个 V1模型的生物学保真度仍然非常简单”Cox说。他补充说人们可以在这个模型中添加更多的细节和细微差别以使它更好地匹配我们对大脑的了解。这篇论文挑战了过去年人工智能研究中已经变得非常普遍的一个趋势。许多人工智能科学家没有在他们的研究中应用关于大脑机制的最新发现而是专注于利用大量的计算资源和数据集来训练越来越大的神经网络从而推动这一领域的进步。这种方法对人工智能研究提出了许多挑战。VOneNet 证明了生物智能仍然有很多未开发的潜力可以解决人工智能研究所面临的一些基本问题。“这里展示的模型直接来自灵长类神经生物学实际上需要更少的训练来实现更接近人类的行为。这是一个新的良性循环的转折点神经科学和人工智能相辅相成相互加强。”作者写道。在未来研究人员将进一步探索 VOneNet 的特性以及神经科学和人工智能的发现的进一步整合。“我们目前工作的一个局限性是虽然我们已经证明添加 V1块可以带来改进但是我们并不能很好地解释为什么会这样”Cox说。发展这个理论来帮助理解这个“为什么”的问题将使人工智能研究人员能够最终找到真正重要的东西并建立更有效的系统。他们还计划在人工神经网络的初始层次之外探索受神经科学启发的架构的整合。翻译自https://venturebeat.com/2021/01/08/is-neuroscience-the-key-to-protecting-ai-from-adversarial-attacks/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
