网站分享图标素材,装潢设计图片三室一厅,一级a做爰片迅雷网站,用v9做网站优化IPSA和CPSA的处理流程、维度变换细节 FLOPs的计算方法、以及flops和划分的patch数目以及patch的维度计算关系 IPSA如何进行local attention、CPSA如何进行globe attention CAT的代码详细注释---需要学习完Transformer TNT、swin transformer、crossViT
CAT: Cross Atten… IPSA和CPSA的处理流程、维度变换细节 FLOPs的计算方法、以及flops和划分的patch数目以及patch的维度计算关系 IPSA如何进行local attention、CPSA如何进行globe attention CAT的代码详细注释---需要学习完Transformer TNT、swin transformer、crossViT
CAT: Cross Attention in Vision Transformer
Abstract
由于Transformer在自然语言处理NLP中得到了广泛应用人们已经意识到Transformer在计算机视觉CV中的潜力并且已经激发了许多新的方法。然而在图像进行标记后用图像块替换单词标记所需的计算量例如ViT非常庞大这成为模型训练和推理的瓶颈。在本文中我们提出了一种新的Transformer中的注意机制称为交叉注意力Cross Attention该机制在图像块内部而不是整个图像中进行交替注意以捕捉局部信息并在从单通道特征图中分割的图像块之间应用注意力以捕捉全局信息。这两种操作的计算量都比Transformer中的标准自注意力小。通过交替在块内和块间应用注意力我们实现了交叉注意力以在较低的计算成本下保持性能并构建了一种称为Cross Attention TransformerCAT的分层网络用于其他视觉任务。我们的基础模型在ImageNet-1K上取得了最新水平并在COCO和ADE20K上改进了其他方法的性能说明我们的网络具有作为通用骨干结构的潜力。
1 Introduction
随着深度学习的发展和卷积神经网络CNN的应用[1]计算机视觉任务取得了巨大的进步。自2012年以来CNN在很长一段时间内一直主导着计算机视觉它作为各种视觉任务中的关键特征提取器以及其他任务中的任务分支编码器。各种基于CNN的网络[2–11]具有不同的改进和应用各种下游任务也有这些多种方法比如目标检测[12–20]、语义分割[21–28]等。 最近作为一种新的网络结构Transformer[29]在自然语言处理NLP中取得了显著的成果。由于其出色的提取全局信息的能力它还解决了诸如循环神经网络RNN[30]和长短时记忆网络LSTM[31]等RNN和LSTM---难以并行化的序列模型难以并行化的序列模型的问题使得自然语言处理领域取得了重要的飞跃同时也激发了计算机视觉任务的发展。 最近的研究[32–41]将Transformer引入计算机视觉作为图像提取器。然而在自然语言处理中文本序列的长度是固定的这导致了Transformer处理图像的能力下降因为不同任务的输入分辨率是可变的。在使用Transformer处理图像时(IGPT的做法是将像素类比为NLP中的单词这将导致计算量巨大的增加。)一种朴素的方法是将每个像素视为一个类似于单词标记的全局注意力标记。iGPT[42]证明了这样做带来的计算量是巨大的。一些工作例如ViTiGPT将一个区域内的一组像素视为一个标记将16x16的patch看做一个token这在一定程度上减少了计算量。然而随着输入大小的增加公式1计算复杂性急剧增加而这些方法生成的特征图具有相同的形状图1(b)使得这些方法不适合用作后续任务的骨干结构。特征图大小固定可扩展性较低 图1分层网络。 (a) 基于CNN的分层网络不同阶段生成具有不同尺度的特征。 (b) 基于Transformer例如ViT的分层网络所有特征在形状上都相同。 (c) CAT我们的的分层网络具有CNN层次结构的特征。 在patch内部先进行注意力然后将获取到patch内全部像素相关信息的token进行拼接然后再在拼接的代表每个patch的token之间进行attention此时获取的全局token包含全局的信息然后将包含全局信息的token与包含每个patch局部信息的token之间进行attention这种attention的方式称为 cross attention 在本文中CNN:局部特征提取将局部特征加权计算后拼成新的特征图由局部特征---全局特征我们受到了CNN局部特征提取能力的启发采用了在一个图像块内部的像素之间进行注意力在patch内部先进行注意力然后将获取到patch内全部像素相关信息的token进行拼接然后再拼接的代表每个patch的token之间进行attention此时获取的token包含全局的信息然后将包含全部信息的token与包含每个patch局部信息的token之间进行attention这种attention的方式称为 cross attention以模拟CNN的局部特征提取方式将随着输入大小呈指数增长的计算减少到与图像块大小呈指数关系的程度。当前的计算复杂度只与patch块的大小相关同时如图3(b)所示为了考虑图片的整体信息提取和传递我们设计了一种在单通道特征图上执行注意力的方法。与对所有通道进行注意力相比计算量大幅减少如公式1和图3所示。通过交替进行图像块内部的内部注意力和单通道特征图的注意力实现了交叉注意力。多通道的局部token与单通道的全局token进行cross attention我们可以利用交叉注意力构建一个强大的骨干结构生成不同尺度的特征图满足下游任务对不同颗粒度特征的需求如图1所示。我们引入全局注意力而不增加计算或仅略微增加计算这是一种更合理的方法可以联合Transformer和CNN的特征。 我们的基础模型在ImageNet-1K上实现了82.8%的top-1准确率与当前的基于CNN和Transformer的先进网络相媲美。同时在其他视觉任务中我们的CAT作为目标检测和语义分割方法的骨干结构可以提高它们的性能。 Transformer和CNN的特性互补将它们更有效地、完美地结合是我们的长期目标而我们提出的CAT是朝着这个方向迈出的一步。希望在这个方向上会有更好的发展。 2 Related work
CNN卷积神经网络/基于CNN的网络具有归纳偏执权重共享、平移、旋转不变性和局部性等特点在过去的十年中在计算机视觉领域取得了巨大的成就取代了多层感知器MLP成为视觉任务中的标准网络。作为在计算机视觉中取得巨大成功的第一个CNN网络AlexNet为后来基于CNN的网络的发展奠定了基础[3, 8–11, 43]用于性能改进已成为视觉任务中的骨干选择。为提高效率而设计的Inceptions[4, 5, 44–46]、MobileNets[6, 47, 48]和ShuffleNets[7, 49]在需要推理速度的任务中也是替代选择。 在基于Transformer的网络中的全局注意力。Transformer最初在自然语言处理中用于机器翻译在那里核心的多头自注意力MSA[29]机制对于在多个层次上提取单词之间关系的特征至关重要。作为最早的几个基于Transformer的骨干结构ViT[33]和Deit[38]将图像划分为图像块图像块大小为16×16。一个图像块被扁平化为一个标记并引入了CLS-Token[50]进行分类。CvT[35]和CeiT[51]都引入了卷积层来替代QKV[29]的线性投影。CrossViT[34]通过将图像划分为不同大小的图像块将不同粒度的全局特征集成到两个分支中。然而这些方法将所有图像块放在一起进行MSA只关注不同图像块之间的关系随着输入大小的增加计算复杂性呈指数增加如公式1所示这很难应用于需要大分辨率输入的视觉任务。 在基于Transformer的网络中的局部注意力。图像块内部信息的关系对于视觉任务[52, 53]至关重要。最近TNT[37]将每个图像块划分为更小的图像块。通过提出的TNT块捕捉了全局信息和图像块内部信息。Swin[36]将每个图像块视为窗口以提取图像块的内部相关性并使用平移窗口来捕捉更多特征。然而这两种方法都有问题。首先在TNT[37]中为了结合全局信息交互和局部信息交互计算量的增加不能被低估。其次在[36]Swin中局部信息交互与相邻图像块之间的交互缺乏全局信息交互。我们提出了一个交叉图像块自注意力块可以有效地保持全局信息交互同时避免随着输入分辨率的增加而导致的计算量的巨大增加。
层次网络和下游任务。Transformer已成功用于视觉任务[54–57]和NLP任务[50, 58–63]。然而由于典型Transformer中输入和输出的一致形状要实现与CNN-based网络[8, 9, 19, 48]类似的层次结构在下游任务中是困难的。FPNs[14, 20, 64, 65]与ResNet[8]结合已成为目标检测中的标准范例。在语义分割[21, 23, 28]中金字塔形的特征被用来提高性能。最近的PVT[32, 36]和Swin[36]降低了不同阶段的特征分辨率类似于ResNet[8]这也是我们采用的方法。 3 Method
3.1 Overall architecture 我们的方法旨在将图像块内部的注意力和图像块之间的注意力相结合并通过堆叠基本块构建一个层次网络这可以简单地应用于其他视觉任务。如图2(a)所示首先我们将输入图像缩小到H1 H/PW1 W/P其中P 4在我们的实验中之后经过liner projection并通过参考ViT[33]中的图像块处理模式通过图像块嵌入层patch embedding将通道数增加到C1。然后使用几个CAT层在不同尺度上进行特征提取。 图2: (a) CAT架构第三阶段的CAB数量随模型大小而变化。 (b) 交叉注意力块CAB堆叠IPSA和CPSA都带有LN[66]MLP和快捷连接[8]。
经过上述预处理输入图像进入第一阶段。此时图像块的数量为H1/N × W1/N图像块的形状为N × N × C1其中N是图像块嵌入层后的图像块大小。第一阶段输出的特征图的形状为H1 × W1 × C1表示为F1。然后进入第二阶段图像块投影层执行空间深度操作该操作使形状为2 × 2 × C的像素块从形状为2 × 2 × C变为形状为1 × 1 × 4C然后通过线性投影层投影到形状为1 × 1 × 2C。在接下来的阶段通过几个交叉注意力块生成形状为H1/2 × W1/2 × C2的F2特征图的长度和宽度可以减小一倍维度增加一倍类似于ResNet[8]中的操作也是Swin[36]中的实践。经过四个阶段后我们可以得到{F1F2F3F4}四个不同尺度和维度的特征图。与典型的基于CNN的网络[8, 9]一样可以为其他下游视觉任务提供不同粒度的特征图。 3.1.1 Inner-Patch Self-Attention Block 在计算机视觉中每个像素都需要一个特定的通道来表示其不同的语义特征。类似于NLP中的单词标记理想情况是将特征图的每个像素都视为一个标记例如ViTDeiT但计算成本太高。正如公式1所示计算复杂性随着输入图像的分辨率呈指数增长。例如在传统的RCNN系列[12, 13, 67, 68]方法中输入的短边至少为800像素而YOLO系列[16, 17, 69]的方法也需要超过500像素的图像。大多数语义分割方法[21, 22, 25]也需要边长为512像素的图像。计算成本至少比预训练阶段的224像素高5倍。
FLOPsMSA 4HWC2 2H2W2C (1)
受到CNN局部特征提取特性的启发我们将CNN中的卷积方法的局部性引入Transformer以在每个图像块中进行像素级自注意力称为图像块内自注意力Inner-Patch Self-AttentionIPSA如图3(a)所示。我们将一个图像块视为一个注意力范围而不是整个图片。同时Transformer可以根据输入生成不同的注意力图这与具有固定参数的CNN相比具有显著优势类似于卷积方法中的动态参数这在[用于实例分割的条件卷积70]中被证明是有益的。[37]揭示了像素之间的注意力同样至关重要。我们的方法显著减少了计算量同时考虑了图像块内像素之间的关系。计算公式如下
FLOPsIPSA 4HWC2 2N2HWC (2)
其中N是IPSA中的图像块大小。与标准Transformer中的MSA相比计算复杂性从与H × W的二次相关性公式1降低到与H × W的线性相关性。假设HW 56C 96N 7根据公式1FLOPsMSA ≈ 2.0 G而根据公式2FLOPsIPSA ≈ 0.15 G大大减少了计算量。 图3: IPSA和CPSA的流程。 (a) IPSA: 展开所有通道的输入为2×2然后堆叠它们在IPSA块之后重新调整到原始形状。 (b) CPSA: 将单通道输入展开为2×2的图像块然后堆叠它们在CPSA块之后重新调整到原始形状。 3.1.2 Cross-Patch Self-Attention Block 将注意力机制引入像素之间只能确保捕捉一个图像块内的像素之间的相互关系但整个图片的信息交换也非常重要。在基于CNN的网络中通常通过堆叠卷积核来扩大感受野。提出了扩张/空洞卷积[24]深度可分离卷积和空间可分离卷积以获得更大的感受野实际上期望最终的感受野扩展到整个图片。Transformer天然具备捕捉全局信息的能力但像ViT[33]和Deit[38]这样的尝试最终并不是分辨率最佳。 每个单通道特征图天然具有全局空间信息。我们提出了Cross-Patch Self-Attention将每个通道的特征图分开并将每个通道划分为H/N × W/N个图像块使用自注意力获取整个特征图的全局信息。这类似于Xception[46]和MobileNet[6]中使用的深度可分离卷积。我们方法的计算可以如下计算 FLOPsCPSA 4N2HWC 2(HW/N)2C (3) 其中N是CPSA中的图像块大小H、W分别表示特征图的高度和宽度。计算成本比ViT公式1和其他基于全局注意力的方法要少。同时如图2(b)所示我们结合了MobileNet[6]的设计堆叠IPSA块和CPSA块以提取和整合一个特征图中像素之间和一个特征图中图像块之间的特征。与Swin[36]中手动设计的平移窗口相比Swin难以实现并且很难捕捉全局信息而我们的方法更为合理且易于理解。按照上一节的假设FLOPsCPSA约为0.1 G远少于MSA的2.0 G。
多头自注意力机制在[29]中被提出。在NLP中每个头可以注意到不同的语义信息例如单词之间的关系。在计算机视觉中每个头可以注意到图像块之间不同的语义信息这类似于基于CNN的网络中的通道(多头机制类似于CNN中的通道)。在CPSA中我们将头的数量设置为图像块的大小使得一个头的维度等于图像块的大小但这对性能没有帮助如表5所示。因此在我们的实验中默认设置为单头。 表5: 在ImageNet-1K上使用CAT-S架构进行的CPSA多头、CAB中第二个IPSA块中的平移窗口、以及图像块嵌入层中的切片或卷积方法的消融研究。
多通道进行注意力机制时使用相对位置编码但是在单通道使用了绝对位置编码
位置编码。我们采用了相对位置编码参考了[36, 71, 72]中的IPSA而对于在整个单通道特征图上执行自注意力的CPSA我们对嵌入到图像块嵌入层中的特征添加了绝对位置编码可以表示为 y Patch.Emb(xinput) 4
ytemp IPSA(y ab.pos.) [] 5
youtput IPSA(CPSA(ytemp)) [] 6 其中ab.pos.表示绝对位置编码Patch.Emb表示表1中的图像块嵌入层。绝对位置编码在CPSA中对于提高性能是有用的表6中报告了相关结果。 表6: 在CAT-S架构上关于CPSA中的绝对位置编码和自注意力中的dropout的消融研究使用FCOS[15]在COCO 2017上进行了1x计划使用ADE20K上80k迭代的Semanticc FPN[90]。attn.d自注意力的dropout。abs.pos.绝对位置编码。 3.1.3 Cross Attention based Transformer 交叉注意力块由两个图像块内自注意力块和一个图像块间自注意力块组成如图2(b)所示。CAT层由多个CAB组成网络的每个阶段由不同数量的层和一个图像块嵌入层组成如图2(a)所示CAB的流程如下 ˆytemp1 IPSA(LN (ˆyn−1)) ˆyn−1 (7)
ˆytemp2 MLP(LN (ˆytemp1)) ˆytemp1 (8)
ˆytemp3 CPSA(LN (ˆytemp2)) ˆytemp2 (9)
ˆytemp4 MLP(LN (ˆytemp3)) ˆytemp3 (10)
ˆytemp5 IPSA(LN (ˆytemp4)) ˆytemp4 (11)
ˆyn MLP(LN(ˆytemp5)) ˆytemp5 (12)
其中ˆytempi是带有LN的一个块例如IPSA、MLP的输出。我们比较了[33]中图像块嵌入层的卷积其中卷积核大小设置为P步长也为P以及将输入切片的方法[16]结果见表5两者性能相同。我们的默认设A置是前者。根据阶段3中CAB的数量和图像块投影层的维度设计了三个不同计算复杂性的模型分别是CAT-T、CAT-S和CAT-B其计算量分别为1×、2×和3×。表1详细说明了配置。 表CATs的详细配置。Down.rate表示每个阶段的下采样速率。R表示特定层的dowm采样率。
表5: 在ImageNet-1K上使用CAT-S架构进行的CPSA多头、CAB中第二个IPSA块中的平移窗口、以及图像块嵌入层中的切片或卷积方法的消融研究。 4 Experiment
我们分别在ImageNet-1K[73]、COCO 2017[74]和ADE20K[75]上进行图像分类、目标检测和语义分割实验。接下来我们将CAT架构与现有技术架构在这三个任务上进行比较然后报告一些我们在CAT中采用的设计的消融实验。
4.1 Image Classification 细节对于图像分类我们在ImageNet1K[73]上使用单一裁剪报告top-1准确率该数据集包含来自1000个类别的128万训练图像和5万验证图像。我们的实验设置主要遵循[38]。我们采用批量大小为1024初始学习率为0.001权重衰减为0.05。我们使用AdamW[76]优化器、余弦衰减学习率调度器和20个周期的线性预热进行300个周期的模型训练。在训练中使用了随机深度[77]分别对三种变体架构采用了0.1、0.2和0.3的比率而在CAB的自注意力中采用了0.2的dropout[78]比率以防止过拟合。我们使用了[38]中的大多数正则化策略和数据增强这使得我们的结果更具可比性和说服力与[36]类似。 结果表2中呈现了我们的实验结果表明我们的CAT-T在FLOPs减少65%的情况下能够达到80.3%的top-1精度比ResNet101[8]高。同时CAT-S和CAT-B在分辨率为224×224的图像上的top-1分别为81.8%和82.8%。这样的结果与表中现有技术的结果相媲美。例如与Swin-T[36]相比其计算相似我们的CAT-S提高了0.5%。特别是我们的方法比Swin[36]中的平移操作更具捕捉图像块之间关系的能力。Swin-Tw. shifted提高了1.1%的top-1精度而CAT-S超过了1.6%。 4.2 Object detection 细节对于目标检测我们在COCO 2017[74]上进行实验使用mAP作为度量标准该数据集包含来自80个类别的118k训练图像、5k验证图像和20k测试图像。我们在一些框架上进行实验以评估我们的架构。实验中使用批量大小为16初始学习率为1e-4权重衰减为0.05。我们采用了AdamW[76]优化器、1x计划和NMS[80]。其他设置与MMDetection[81]相同。注意采用随机深度[77]率为0.2以防止过拟合。关于多尺度策略我们使用从480到800的间隔为32的随机选择的短边尺度进行训练而长边尺度小于1333与[54, 82]相同。 结果如表3所示我们在一些基于锚点和无锚点的框架中使用了CAT-S和CAT-B作为骨干网络两者性能更好且计算成本相当或更低。CAT-S通过多尺度策略提高了FCOS[15]达3.4%RetinaNet[13]为3.7%Cascade R-CNN[85]为4.8%。而对于实例分割我们使用了MASK R-CNN[83]框架其中CAT-S的掩码mAP提高了4.2%。我们实验的所有方法都比原始方法性能更好证明了我们的CAT在特征提取方面具有更强的能力。 表CAT与其他主干在COCO检测上的各种方法的比较。−表示采用多尺度策略进行训练。FLOPs是在800 × 1280上评估的。 4.3 Semantic Segmentation 细节对于语义分割我们在ADE20K[75]上进行实验该数据集包含20k张训练图像、2k张验证图像和3k张测试图像。设置如下初始学习率为6e-5总共进行160k和80k次迭代批量大小为16权重衰减为0.05预热迭代次数为1500。我们在Semantic FPN[86]框架下进行实验输入为512×512并使用了MMSegmentation[87]的基本设置。注意在CAT的训练过程中使用了随机深度[77]率为0.2。 结果如表4所示我们采用CAT-S和CAT-B作为骨干网络结合Semantic FPN[90]框架。Semantic FPN在CAT-S和CAT-B的支持下取得了更好的性能特别是在160k迭代和CAT-B的情况下我们取得了44.9%的mIoU相较于将ResNet101[8]作为骨干网络的情况提高了4.2%使Semantic FPN的性能达到了与其他方法相当的水平而在80k迭代中结果提高了4.8%说明我们的架构比ResNet[8]更适合作为骨干网络。 表4.ADE20K上的语义分割性能。指示模型已在ImageNet-22k上进行预训练。表明经过80k次迭代训练。FLOPs是在1024 × 1024上计算的 4.4 Ablation Study 在本节中我们报告了在设计架构和在ImageNet-1K[73]、COCO 2017[74]和ADE20K[75]上进行实验时所做设计的一些消融实验的结果。 图块嵌入函数我们比较了图块嵌入层中的嵌入函数包括卷积方法和[16]中的方法。卷积方法使用卷积层卷积核大小为4×4步长为4将输入的分辨率降低到原始图像的1/4后者从H×W×H×C切片输入为H/S×W/S×SC其中S在我们的模型中设为4以实现与前者相同的效果。表5中的结果表明这两种方法的性能相同。为了更好地与其他工作[36]进行比较我们选择卷积方法作为默认设置。
多头和偏移窗口多头机制是在[29]中提出的多头表示不同语义特征之间的关系。我们将每个CPSA中的头数设置为与图块大小相等CPSA的数量等于patch_number的数量这对性能无益如表5所示。为了研究Swin[36]中的偏移窗口我们还在CAB的第三个块中进行了实验结果显示偏移操作在我们的架构中表现并不更好。 CPSA的绝对位置和自注意力中的dropout我们对CPSA的绝对位置编码进行了消融研究结果表明它在三个基准上提高了性能。为了更好地训练我们在CPSA的自注意力中采用了dropout[78]并设置了0.0和0.2的率。0.2的率达到了最佳性能说明CPSA中存在一些过拟合。所有结果见表6。 表5在ImageNet-1K上使用CAT-S架构进行的关于CPSA中的多头、CAB中第二个IPSA块的偏移窗口以及图块嵌入层中切片或卷积方法的消融研究。 表6在使用CAT-S架构的三个基准上对CPSA的绝对位置编码abs.pos和自注意力中的dropoutattn.d进行的消融研究。在COCO 2017上使用1x计划的FCOS[15]和在ADE20K上进行80k次迭代的Semantic FPN[90]。attn.d自注意力的dropout。abs.pos.绝对位置编码。 5 Conclusion 在本文中提出了交叉注意力Cross Attention以更好地结合CNN中的局部特征提取和Transformer中的全局信息提取构建了一个强大的骨干网络即CAT。CAT可以生成类似于大多数基于CNN的网络的不同尺度的特征并且还可以适应其他视觉任务的不同输入尺寸。CAT在各种视觉任务数据集上例如ImageNet-1K[73]、COCO 2017[74]、ADE20K[75]取得了领先水平的性能。关键在于我们在特征图块内部和单通道特征图上交替注意力而几乎不增加计算量以捕捉局部和全局信息。我们希望我们的工作将是将CNN和Transformer集成为多领域方法的方向中的一步。 []局部使用注意力 []在局部注意力的基础上使用全局注意力之后再进行局部注意力
