可以免费生成网站的软件,1920的网站做字体大小,山西网站建设开发团队,抚州营销型网站建设文章目录 【图像分割 2023 CVPR】CFNet摘要1. 简介2. 相关工作2.1 稠密预测的主干网设计2.2 多尺度特征融合 3. 方法3.1 整体架构3.2 过渡块3.4 结构变体 【图像分割 2023 CVPR】CFNet 论文题目#xff1a;CFNet: Cascade Fusion Network for Dense Prediction 中文题目#… 文章目录 【图像分割 2023 CVPR】CFNet摘要1. 简介2. 相关工作2.1 稠密预测的主干网设计2.2 多尺度特征融合 3. 方法3.1 整体架构3.2 过渡块3.4 结构变体 【图像分割 2023 CVPR】CFNet 论文题目CFNet: Cascade Fusion Network for Dense Prediction 中文题目CFNet用于密集预测的级联融合网络 论文链接https://arxiv.org/abs/2302.06052 论文代码 论文团队 发表时间 DOI: 引用 引用数 摘要
多尺度特征对于对象检测、实例分割和语义分割等密集预测任务是必不可少的。 现有的最先进的方法通常首先通过分类主干提取多尺度特征然后通过轻量级模块如FPN中的融合模块对这些特征进行融合。 然而我们认为通过这样一个范例来融合多尺度特征可能是不可取的因为与笨重的分类主干相比为特征融合分配的参数是有限的。 为了解决这一问题我们提出了一种新的结构级联融合网络(CFNET)用于密集预测。 在CFNET中除了提取初始高分辨率特征的STEM和几个块外我们还引入了几个级联阶段来生成多尺度特征。 每个阶段包括用于特征提取的子主干和用于特征集成的极其轻量级的过渡块。 这种设计使得整个主干的大比例参数更深入有效地融合特征成为可能。 在对象检测、实例分割和语义分割等方面进行了大量的实验验证了所提出的CFNET的有效性。 代码将在这里提供。
1. 简介
在过去的几年里卷积神经网络CNNs和基于变换器的网络在许多计算机视觉任务中取得了很好的结果包括图像分类、对象检测、语义分割等。对于图像分类任务最流行的细胞神经网络[1-5]和最近开发的基于变换器的网络[6-9]在架构设计中通常遵循顺序方式即逐渐减小特征图的空间大小并基于最粗略的特征尺度进行预测。然而对于许多密集的预测任务如对象检测和实例分割需要多尺度特征来处理不同尺度的对象。获得多尺度特征并将其集成CNN[1-5]和最近开发的基于变换器的网络[6-9]通常在架构设计中遵循顺序方式即逐渐减小特征图的空间大小并基于最粗尺度的特征进行预测。然而对于许多密集的预测任务如对象检测和实例分割需要多尺度特征来处理不同尺度的对象。获得多尺度特征并对其进行有效集成对于这些任务的成功至关重要[10-14]。
特征金字塔网络(FPN)及其变体[14-20]是目前广泛应用的多尺度特征提取和融合模型。 如图1(a)所示这些模型通常由一个用于提取多尺度特征的重分类背骨和一个用于融合这些特征的轻量级融合模块组成。 然而我们认为使用这种范式可能不足以融合多尺度特征因为与重型分类主干相比特征融合所分配的参数是有限的。 例如考虑一个基于骨干Convnext-S[5]构建的FPN融合模块的参数与骨干的比值小于10%。 我们认为在特征融合中分配较大比例的参数可以获得更好的性能。 给定固定的计算预算如果我们想为特征融合分配更多的参数一个直观的方法是使用较小的主干网并扩大融合模块的规模。 然而使用较小的主干意味着整个模型从大规模预训练例如ImageNet分类预训练中受益较少这对于训练数据有限的下游任务至关重要。 那么如何分配更多的参数来实现特征融合同时保持一个简单的模型架构仍然可以最大程度地受益于大规模的预训练呢
我们先来回顾一下FPN的融合模块。为了融合多尺度特征首先对相邻层次的特征进行元素加法然后使用单个3×3卷积对相加后的特征进行变换。我们将这两个步骤称为特征融合和特征转换从而构成特征融合。很明显我们可以堆栈更多的卷积来转换集成的特征但它引入了更多的参数留给主干的参数更少。从另一个角度思考我们进一步询问是否可以将特征整合操作插入到主干中使其之后的所有参数都可以用来对整合后的特征进行转换。
在本工作中我们试图回答上述问题。 本文提出了一种用于密集预测的级联融合网络(CFNET)。 图1(b)说明了CFNET的信息流。 它可以看作是重组不同尺度特征之间联系的结果。 图3显示了CFNET的体系结构。 基于一个茎和几个块提取的高分辨率特征引入M级联CFNET级来生成多尺度特征。 所有阶段共享相同的结构但它们的大小可以不同。 具体地说每个阶段包括用于提取多尺度特征的子主干和用于集成这些特征的极其轻量级的过渡块。 这样我们将特征集成操作插入到主干中以便集成的特征可以在过渡块之后进行所有阶段的转换。 也就是说过渡块之后的所有参数都可以用于特征融合。 此外我们在图像分类任务上进行的实验表明由于CFNET的结构简单它仍然可以从大规模的预训练中受益。
基于所提出的CFNET我们进行了一系列实验来验证我们的假设。 定义CFNET中用于特征融合的参数比例为第一个过渡块后各阶段的参数占整个骨干的比例。 图2中的结果表明随着特征融合参数的增加检测性能逐渐提高验证了我们的假设。 更多详情请参阅第4.1节。
我们对三个流行的密集预测任务进行了广泛的实验。 在COCO VAL 2017用于对象检测和实例分割上CFNET的性能优于其基线即SWIN Transformer[6]和ConvNext[5]基于流行的RetinaNet[4]和Mask R-CNN[10]的Box AP和Mask AP分别为1.9-2.9和1.2-1.8。 在用于语义分割的ADE20K上CFNET在强大的UperNet[13]的基础上比其基线性能高出0.8-2.2miou。 这些结果表明CFNET的强大性能并鼓励社区重新思考广泛使用的密集预测任务模型设计原则。
2. 相关工作
2.1 稠密预测的主干网设计
对于密集的预测任务现有的大多数工作都采用图像分类网络和特征融合模块相结合的策略来提取和融合多尺度特征。然而将预先设计的分类网络直接应用于密集预测任务可能是次优的。因此为密集预测设计任务友好型主干引起了人们的极大兴趣[21-29]。为了获得具有强语义的高分辨率特征UNet[21]和SegNet[22]都采用了类似的具有跳跃连接的U形结构进行医学图像分割。Hourglass[23]介绍了一种卷积网络架构该架构使用重复的自下而上和自上而下的处理来完成人体姿态估计任务。HRNet[25]在整个转发过程中保持高分辨率特征并且所得到的表示在语义分割和人体姿态估计方面表现良好。SpineNet[26]引入了神经结构搜索NAS[30]来学习用于对象检测的尺度排列主干。GiraffeDet[29]采用了轻量级主干与重型融合模块相结合以鼓励不同规模特征之间的密集信息交换。CBNet[27]通过在相邻主干之间引入复合连接来组装多个相同的主干。DetectoRS[28]直接堆叠多个FPN来增强多尺度特征。与这些方法不同的是我们引入了几个级联阶段在CFNet中基于提取的高分辨率特征迭代提取和集成多尺度特征。
2.2 多尺度特征融合
由于传统分类网络生成的低级特征在语义上较弱这些多尺度特征不适合下游密集预测任务。为了解决这个问题已经提出了许多用于多尺度特征融合的方法[14-1831-33]。对于语义分割DeeplabV3[31]将低级特征与通过萎缩的空间金字塔池获得的语义强的高级特征融合在一起。ESeg[32]采用了更丰富的多尺度特征空间并使用强大的特征融合网络来融合特征。对于对象检测FPN[14]引入了一种自上而下的方法将高级特征与低级特征依次组合。PANet[15]进一步增加了另一种自下而上的途径以缩短低级特征和最高级特征之间的信息途径。NAS-FPN[16]通过NAS[30]搜索的重复融合阶段融合多尺度特征。EfficientDet[17]采用具有复合缩放规则的加权双向特征金字塔网络来实现简单快速的多尺度特征融合。A2-FPN[18]通过注意力引导的特征聚合改进了多尺度特征学习。所有上述方法都依赖于重分类主干来提取多尺度特征然后用轻量级融合模块融合这些特征。然而与分类主干相比融合模块的参数是有限的。相反我们提出了一个非常轻量级的转换块并将其插入到主干中。这样过渡块之后的所有阶段都可以用于融合集成的多尺度特征。
3. 方法
3.1 整体架构
CFNet体系结构的概述如图3所示。将空间大小为H×W的输入RGB图像馈送到一个干和N个连续块中以提取空间大小为H4×W4的高分辨率特征。茎由两个3×3的卷积组成步长为2每个卷积后面都有一个LayerNorm[34]层和一个GELU[35]单元。CFNet中的块可以是先前工作中提出的任何设计例如ResNet瓶颈[4]、ConvNeXt块[5]、Swin Transformer块[6]等。
在被送入M级联级之前提取的高分辨率特征通过步幅为2的2×2卷积进行下采样。 所有阶段共享相同的结构但可能具有不同的大小即不同的块数。 具体来说每个阶段都由子主干和极其轻量级的过渡块组成用于提取和集成不同尺度的特征。 在这里我们将每个阶段的块组定义为用于转换相同尺度特征的块的并集。 N1I、N2I和N3I分别表示第I级的三个块组中包括的块的数量。 在每个阶段的最后一个块组中应用焦点块。 关于过渡块和焦点块的更多细节分别在3.2节和3.3节中介绍。 值得注意的是每级输出特征P3、P4、P5步幅为8、16、32但只有P3被馈入后期。 最后将最后一阶段输出的融合特征P3、P4和P5用于密集预测任务。 图3。CFNet的体系结构。首先将空间大小为H×W的输入图像馈送到一个干和N个连续块中以提取空间大小为H4×W4的高分辨率特征。然后将这些特征馈送到M个级联级中以提取多尺度特征。每个阶段输出具有步幅8、16、32的融合特征P3、P4、P5但只有P3被馈送到后面的阶段。请注意只有主干和“下采样对流”会减小特征的空间大小。×nkik1,2,3表示应用了nki个连续块。 3.2 过渡块
引入过渡块在每个阶段整合不同尺度的特征。为了避免引入过多的额外计算成本我们提出了三个简单的设计如图4所示。“添加”融合首先减少了特征C4和C5的频道数以对齐C3与1×1卷积的频道数。在执行元素加法之前双线性插值操作用于对齐特征的空间大小。“Concat”融合直接对C4和C5特征进行采样以对齐C3的空间大小然后将这些特征连接起来然后进行1×1卷积以减少通道数量。“顺序添加”融合了样本并将不同尺度的特征顺序地组合在一起。这个设计类似于FPN中的融合模块除了没有额外的卷积来转换求和的特征。以上三种设计在实验中均表现良好(对比见4.5节表8)其中“顺序添加”融合的效果最好。我们在CFNet变体中默认采用这种设计(见章节3.4)。
对于密集预测任务处理各种尺度的对象一直是一大挑战。 一种广泛使用的解决方案是生成不同分辨率的特征。 例如通常生成步幅为8、16、32、64、128的特征以在一级检测器中检测相应比例的对象[11、12、36、37]。 用于产生步幅较大的特征的神经元通常具有较大的感受野。 在CFNET的每个阶段中有三个块组来提取特征步幅分别为8、16、32。 理想情况下我们可以提取另外两个分辨率特征来集成更多的特征尺度如FPN变体[15-17]。 但是它会引入更多的参数因为随着特征空间尺寸的缩小后续组的通道数逐渐增加。 因此我们提出局灶阻滞扩大每一阶段最后一个阻滞组神经元的感受野作为替代方式。
图5给出了焦块的两种设计。 在ConvNext模块和SWIN变压器模块中都引入了扩展的深度卷积和两个跳过连接。 因此Focal Block可以同时包含细粒度的局部交互和粗粒度的全局交互Focal Block的名称来自这里。 利用全局注意力[38,39]或大卷积核[5,40]来扩大感受野是近年来研究的热点。 虽然取得了很好的效果但由于输入图像大小较大将这些操作应用于密集预测任务时通常会引入大量的计算开销和内存开销。 相比之下拟议的重点区块引入了边际额外费用见第4.5节表9进行比较。 3.4 结构变体
我们构建了三种CFNet变体即CFNet-TSwin、CFNet-T和CFNet-SNeXt。T和S分别是单词tiny和small的缩写表示模型的大小。第一个使用Swin Transformer块和焦点Swin块。另外两个使用ConvNeXt块和焦点NeXt组块。每个CFNet变体的详细配置如表1所示。CFNet-T和CFNet-S的级数分别设置为3和4。尽管具有不同配置的不同阶段可能会获得更好的性能但为了简单起见我们为所有阶段设置了相同的配置。并且所有焦块中的膨胀率r默认设置为3。由于计算资源的限制我们在本文中没有考虑更大的CFNet变体。
