二维码网站建设源码,商业计划书模板,做h5动画网站,网页制作app下载来源#xff1a;机器学习研究组订阅自从引入网络以来#xff0c;深度学习中的注意力机制在机器翻译和 社区中广受欢迎。然而#xff0c;在计算机视觉中#xff0c;卷积神经网络 (CNN) 仍然是常态#xff0c;自注意力才刚刚开始慢慢渗透到研究的主体中#xff0c;要么补充… 来源机器学习研究组订阅自从引入网络以来深度学习中的注意力机制在机器翻译和 社区中广受欢迎。然而在计算机视觉中卷积神经网络 (CNN) 仍然是常态自注意力才刚刚开始慢慢渗透到研究的主体中要么补充现有的架构要么完全取代它们。在这篇文章中我将尝试阐明视觉自注意力的最新发展并强调其可能带来的好处。对于这项任务我将展示三篇不同的论文在我看来它们很好地说明了计算机视觉中自我注意的最新技术。我将介绍的第一篇论文是Guan等人来自医学影像分析社区这让我有宾至如归的感觉。与自然图像照片不同医学图像的外观通常非常相似。它们是使用来自标准化位置的类似采集参数获得的。对于放射科医生来说阅读图像的经验主要来自于知道确切的位置以找到某种病理。因此即使在其他研究领域之前注意力在医学图像分析中也发挥了重要作用也就不足为奇了。有问题的论文试图提高胸部射线图像自动胸部疾病分类的性能。以前已经提出了仅通过查看全局图像来检测和分类胸部 X 射线病理的网络。因此多标签分类是通过使用二进制交叉熵作为损失函数或其他一些标记机制例如使用作为解码器来捕获标签之间的相互依赖关系的编码器-解码器框架来执行的。使用整个射线图像进行分类的问题在于在医学图像中病变区域与整个图像相比可能非常小甚至可能位于边界某处这会给分类器和分类器带来大量噪声。降低检测精度。此外胸部射线图像经常出现错位例如图1第二行中的示例。这种错位会导致图像周围的边界不规则也可能对分类产生负面影响。在论文中作者使用递归硬注意力即硬自注意力通过裁剪出图像的判别部分并将全局图像和裁剪部分一起分类来提高检测精度见图1左侧的整个图像和右侧的裁剪部分。图1来自[1]的两个训练图像包括从网络中特定卷积层提取的热图以及由此产生的裁剪图像。全局图像和裁剪图像都用于分类。该网络由三个分支组成全局分支处理整个图像并确定裁剪ROI局部分支展示注意力机制并处理裁剪后的图像分支连接全局和局部分支的池化输出并使用密集层执行最终分类。所有分支都是分类网络在最后执行多类分类如图2所示以预测病理的存在。除了分类之外全局分支还用于生成确定裁剪区域的热图。热图是通过计算某个高级层沿通道的最大值来生成的。然后生成与热图大小相同的掩码。如果某个位置的每通道最大化热图的值大于某个阈值则在该位置为掩码分配1。否则掩码的值为0。之后裁剪区域被确定以便所有掩码值为1的点都在裁剪范围内。然后图像的裁剪部分通过本地分支运行。此外两个分支的输出在融合分支中融合以执行额外的分类。网络训练分三步ImageNet 预训练的全局分支的微调掩码推理以获得裁剪图像并执行局部分支的微调。因此全局分支中的权重是固定的连接全局和局部分支输出并微调融合分支同时冻结其他分支的权重。融合分支用于产生模型的最终分类结果正如预期的那样它比其他两个分支表现得更好。图2[1]中介绍的 AG-CNN 架构以 ResNet 骨干网为例。局部病变补丁是使用热图注意力层从全局图像中裁剪出来的。BCE表示二元交叉熵损失。为了从注意力的角度理解模型在做什么我们必须首先了解软注意力和硬注意力之间的区别。本质上注意力根据一些外部或内部自注意力提供的权重重新权衡网络的某些特征。因此软注意力允许这些权重是连续的而硬注意力要求它们是二进制的即0或1。这个模型是硬注意力的一个例子因为它裁剪了图像的某个部分因此本质上是对原始图像重新加权以便裁剪部分的权重为1其余为0。硬注意力的主要缺点是它不可微不能进行端到端的训练。相反作者使用某个层的激活来确定并在复杂的多阶段过程中训练网络。为了训练注意力门我们必须使用软注意力例如使用或。接下来我们将看看一些软注意力模型。Squeeze-And-Excitation-NetworksHu等人没有使用严格的注意力并在特征图的裁剪方面重新校准权重。通过使用软自注意力对卷积特征通道之间的相互依赖性进行建模研究了在CNN的某个层中重新加权通道响应。为此作者介绍了构建块见图3。模块的工作原理如下对于特征从X到U的任何变换例如卷积有一个变换聚合跨空间范围的全局特征响应。这就是挤压操作。挤压操作之后是激励操作这是一个(自控门)操作它构建了一个通道方式的权重响应。的输出随后与激励结果逐通道相乘这在图3中被描绘为。挤压操作的数学描述是因此 是操作 的输出。挤压操作通过使用全局平均池化来创建全局嵌入。也可以使用全局最大池化尽管作者指出平均池化会略微提高整体性能。另一方面激励块由下式描述因此激励将挤压块的输出乘以学习的权重W1将输出传递给ReLU函数 δ将输出乘以另一组权重W2并在最后使用函数以确保产生的通道权重为正。因此W1将维度减少了因子可以视为超参数而W2再次将其增加到原始通道数。最后的通道特征响应乘以从激励块获得的权重。这可以被视为使用全局信息的通道上的自我注意功能。模块背后的主要思想是在网络的决策过程中包含全局信息卷积仅查看特定半径内的局部空间信息而模块聚合来自整个感受野的信息。作者的一个有趣观察是在网络的早期阶段不同类别的激励权重相对相似并在后期变得更加具体。这与通常的假设相关即较低层学习输入的更多一般特征而较高层则越来越具有辨别力。此外模块在网络的最后阶段没有多大意义其中大多数激励变为 1。这可以解释为网络的最后阶段已经包含大部分全局信息和 操作没有带来新的信息内容。方法的主要优势在于它非常灵活作者提到了在广泛使用的架构中的集成例如见图 4、 或。实际上该块可以添加到网络的每个阶段也可以仅添加到特定阶段。此外它在可学习参数的数量方面只引入了轻微的开销。例如与已包含2500万个参数的原始 ResNet 相比使用模块的仅使用了约250万个额外参数。因此这仅使复杂性增加了10%。图4原始ResNet块左和Squeez—And—Excitation块右[3]中所示。在论文中作者展示了大量由模块增强的训练架构示例。特别是他们能够在2017挑战中实现最先进的分类性能前5名错误率仅为2.251%。Stand-Alone Self-Attention我将介绍的最后一篇文章 2019通过使用独立的自注意力块而不是仅通过自注意力来增强卷积层进一步阐述了中自注意力的想法。事实上作者提出了一个自注意力层可以用来代替卷积同时减少参数的数量。让我们回顾一下卷积操作来激发替换。卷积操作包括将特定大小例如3x3的权重矩阵与位置处的每个邻域相乘并对结果进行空间求和。这实现了不同空间位置之间的权重共享。此外权重的数量与输入大小无关。与卷积类似论文提出的自注意力层也适用于周围的一个小邻域称为记忆块。对于每个内存块单头注意力计算如下因此是查询 是键是根据位置 及其邻域处的特征计算为线性变换的值。矩阵是学习到的变换。从公式中可以看出转换后的中心像素用作查询键和值在邻域内求和。 函数也应用于以获得权重然后将其与值相乘。作者在本文中使用了多头注意力这只是意味着将像素特征深度拆分为个相同大小的组使用不同的矩阵 分别对每个组计算注意力并将结果连接起来。图6提供了视觉自注意块的图形描述。图6[4]中空间范围k3的局部注意层使用上述方法的一个问题是注意力块中没有编码位置信息因此该公式对于单个像素的排列是不变的。位置信息对于视觉任务很重要例如如果您想检测人脸您将需要知道在哪里寻找嘴巴、鼻子、耳朵等。在原始论文中作者使用位置的正弦嵌入作为附加输入。然而在中使用了相对位置嵌入因为它们在计算机视觉任务中具有更好的准确性。这些相对嵌入是通过计算位置到每个邻域像素的相对距离来获得的。这些距离分为行距离和列距离和。这些嵌入被连接到一个矩阵形式并乘以查询 如下这确保了由函数计算的权重由键和查询的距离和内容调制。从上面的描述我们可以看出视觉自注意力是局部注意力的一种形式。注意层只关注内存块而不是整个特征图。这种方法的优点是参数的数量大大减少不同空间位置之间的权重是共享的。作者提到他们的自注意力网络在训练和推理方面仍然比他们的对手慢但是他们将这归因于高度优化的卷积核以及注意力层缺乏优化的硬件。作者还展示了他们在上通过用自注意力块替换 中的 3x3 卷积获得的一些结果。请注意它们保留了1x1卷积基本上是按像素计算的全连接层和卷积茎网络中的前几个卷积层保持不变。有了这些变化它们在以下方面的表现优于基线标准所有经过测试的架构同时使用的减少了12%参数减少了29%。参考论文[1] Guan, Qingji, et al. “Diagnose like a radiologist: Attention guided convolutional neural network for thorax disease classification.” arXiv preprint arXiv:1801.09927 (2018).[2] Yao, Li, et al. “Learning to diagnose from scratch by exploiting dependencies among labels.” arXiv preprint arXiv:1710.10501 (2017).[3] Hu, Jie, Li Shen, and Gang Sun. “Squeeze-and-excitation networks.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.[4] Ramachandran, Prajit, et al. “Stand-Alone Self-Attention in Vision Models.” arXiv preprint arXiv:1906.05909 (2019).[5] Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017.原文链接https://towardsdatascience.com/self-attention-in-computer-vision-2782727021f6未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
