有什么网站可以推广信息,做互联网营销一般上什么网站,做移动网站优化快速排名软件,通州免费网站建设摘要 各种尺度的特征耦合会削弱小对象的性能#xff0c;本文中#xff0c;我们提出了具有超高分辨率金字塔的扩展特征金字塔网络#xff08;EFPN #xff09;#xff0c;专门用于小目标检测。具体来说#xff0c;我们设计了一个新模块#xff0c;称为特征纹理转移#…摘要 各种尺度的特征耦合会削弱小对象的性能本文中我们提出了具有超高分辨率金字塔的扩展特征金字塔网络EFPN 专门用于小目标检测。具体来说我们设计了一个新模块称为特征纹理转移FTT 用于同时超分辨率特征和提取可信的区域细节。此外我们设计了一个前景 - 背景平衡损失函数来缓解前景和背景的面积不平衡。 总结 设计了一个 特征纹理转移 FTT 新模块 它 用于超分辨率特征和提取可信的区域细节 。 设计了一个 前景 - 背景平衡损失函数 来缓解前景和背景面积不平衡。 1、介绍 由于 CNN 重复使用池化层来提取高级语义因此可以在 下采样过程中过滤掉小对象的像素。 利用低级特征是提取小对象信息的一种方式。在 FPN 中如图 1 a) 所示小型对象必须与中型和大型对象共享相同的特征图而像大型对象这样的简单情况可以从合适的级别提取特征。此外如图1(b) 所示随着对象规模的减小FPN 底层的检测精度和召回率显著下降。图 1 表明在普通 FPN 检测中跨尺度的特征融合仍然削弱了小对象检测的能力。 普通的 FPN 中跨尺度特征融合仍然削弱了小对象检测的能力 补偿小物体信息损失的另一种方法是提高特征分辨率。因此 一些超分辨率 SR 方法被引入到目标检 测中 。 本文中我们提 出了扩展特征金字塔网络 EFPN 该 网络利用具有丰富区域细节的大规模 SR 特征来 解耦中小型目标检测 。 EFPN 以专门用于小型物体检测的高分辨率水平扩展了原始 FPN 。为了降低成本我们的扩展高分辨率特征图是由嵌入特征 SR 的 FPN-like 框架生成 。 在构建 vanilla 特征之后所提出的特征纹理转移 FTT 模块首先将来自低分辨率特征的深层语义和来 自高分辨率特征参与的浅区域纹理相结合 。然后 后续的 FPN-like 横向连接将通过量身定制的中间 CNN 特征图进一步丰富区域特征。 EFPN 的一个优点是高分辨率特征图的生成依赖于 CNN 和 FPN 产生的原始真实特征而不是其他类似方法中不可靠的想象。如图1(b) 所示 EFPN 中具有可信细节的扩展金字塔级别显著提高了对小物体的检测性能。 此外我们引入了由大规模输入图像生成的特征作为监督来优化 EFPN 并设 计了一个前景 - 背景平衡损 失函数 。 主要贡献如下 1 我们提出了 扩展特征金字塔网络 EFPN 它提高了小目标检测的性能。 2 我们设计了一个关键的基于特征参考的 SR 模块 称为特征纹理转移 FTT 为扩展的特征金字塔 赋予可信的细节 以实现更准确的小目标检测。 (3) 引入了一个前景 - 背景平衡损失函数 以引起人们对正像素的关注缓解前景和背景的面积不平衡。 2、超分辨图像用于目标检测 一些研究将 SR 引入到物体检测中因为小物体检测总是受益于大尺度图像级 SR 用于存在极小物体的一些特定情况如卫星图像和具有拥挤的图像。STDN 在 DenseNet 的顶层采用亚像素卷积来检测小对象 同时减少网络参数 。最近 基于参考的 SR 方法具有利用参考图像的纹理或内容增强 SR 图像的能力 。受基于参考的SR 的启发我们设计了一种新的模块来超分辨率参考下的具有可信细节的浅特征从而生成更适合小物体检测的特征。 3、我们的方法 首先我们 构建了一个扩展的特征金字塔 它专门用于底部有高分辨率特征图的小物体。具体来说我们设计了一个名为特征纹理转移 FTT 的新模块为扩展的特征金字塔生成中间特征 。此外我们采 用了一种新的前景 - 背景平衡损失函数 来进一步加强对正像素的学习。 3.1 扩展特征金字塔网络 Vanilla FPN 通过对高级 CNN 特征图进行上采样并通过横向连接将其与较低的特征融合 构建了一个 4 层特征金字塔 。不同金字塔级别上的特征负责不同大小的对象 小对象检测和中等对象检测仍然耦合在 FPN 的统一底层 P2 上 如图所示 为了缓解这个问题提出了 EFPN 来 将 vanilla 特征金字塔扩展到了新的层次 该层次考虑了具有更多区域细节的小目标检测。 我们 通过嵌入特征 SR 模块的 FPN-like 框架来实现扩展的特征金字塔 。该过程直接从低分辨率图像中生成高分辨率特征以支持小目标检测。EFPN 的概述如图 2 所示。 顶部 4 个金字塔层由自上而下的路径构建用于中等和大型对象检测。 EFPN 中的底部扩展包含图 2 中的FTT模块、自上而下的路径和紫色金字塔旨在捕获小物体的区域细节。更具体的说在扩展中 EFPN 的 第三和第四金字塔层分别在图 2 中用绿色和黄色层表示。在特征 SR 模块 FTT 中混合以产生具有所选区域信息的中间特征 其中在图 2中由蓝色菱形表示。然后 自上而下的路径将与 定制的高分 辨率CNN特征图合并产生最终的扩展金字塔层。我们 在 ResNet/ResNeXt stage2 中删除了一个最大池化层并得到作为 stage2 的输出如表 1所示。 与原始C2共享相同的表 示级别但由于其更高的分辨率而包含更多的区域细节。 中较小的感受野也有助于更好地定位小物体从数学上讲所提出的EFPN中的扩展操作可以描述为 其中 表示通过 最近邻插值的双重放大。 在 EFPN 检测器中 建议 size 和金字塔级别之间的映射仍然遵循 [19] 中的方式 这里 l 表示金字塔级别 w 和 h 表示方框建议的宽度和高度 224 是规范的 ImageNet 预训练大小 l0 是wxh224x224的方框方案映射到的级别目标。 3.2 FTT模块 在 基于图像参考的 SR 的启发 下我们 设计了 FTT 模块来超分辨率特征并同时从参考特征中提取区域纹 理 。如果没有 FTT EFPN 的第 4 级 P2 中的噪声将直接传递到扩展金字塔级即淹没有意义的语义。 然而所提出的 FTT 输出 综合了上低分辨率特征中的强语义 和 下高分辨率参考特征中的关键局部细节 但丢弃了参考中的干扰噪声。 如图 3 所示 FTT 模块的主要输入是来自第三层 EFPN 的特征图 P3 参考是来自第四层 EFPN 的特征图 P2。 输出可以定义为: 其中表示纹理提取器成分表示内容提取器部分。 表示通过 sub 像素卷 积的双重放大 表示特征C串联。内容提取器和纹理提取器都是由残差块组成的。 在主 stream 中考虑到其效率我们就将 sub-pixed 卷积 应用于 提高 来自主输入 P3 的内容特征的 空间分 辨率 。 sub像素卷积通过在通道维度上转移像素来增加宽度和高度维度上的像素。将卷积层生成的特征表示为。亚像素卷积中的像素混洗算子将特征重新排列为 形状 为的映射。也就是说 经过 sub-pixed 卷积的特征图是将原特 征图的宽度和高度放大了 r 倍通道数不变 该运算在数学上可以定义为 其中表示像素混洗操作 PS(.) 之后的坐标 上的 输出特征像 素 ( 像素坐标 ) 并且 r 表示放大因子。在我们的 FTT 模块中为了使空间尺度加倍我们采用 r2 。 在参考 stream 中参考特征 P2 和超分辨率内容特征 P3 的包裹被馈送到纹理提取器中。纹理提取器旨在提取用于小目标检测的可信纹理并从包裹中屏蔽无用的噪声。 纹理和内容的最终元素添加确保了输出集成了来自输入和引用的语义和区域信息。因此特征图 P3’ 具有从浅层特征参考P2 中选择的可靠纹理以及从深层 P3 中选择的相似语义。 3.3训练损失 前景 - 背景平衡损失 。为了提高 EFPN 的综合质量设计了前景背景平衡损失。常见的全局丢失会导致小物体区域的学习不足因为小物体只占整个图像的一小部分。前景背景平衡损失函数通过两个部分提高了前景和背景的特征质量 1 全局重建损失 2 正补丁损失 由于背景像素构成了图像的大部分因此全局构造损失主要导致与真实背景特征的相似性。在这里我们采用SR 中常用的 l1 损失作为全局重建损失。 其中 F表示生成的特征图表示目标特征图。 正补丁丢失用于吸引人们对正像素的关注因为严重的前景 - 背景不平衡会阻碍检测器的性能。我们使用前景区域上的l1损失作为正补丁损失。 其中 表示 ground truth 对象的块 N表示正像素的总数并且表示 特征图上的像 素的坐标。正补丁丢失对对象所在的区域起着更强的约束作用强制学习这些区域的真实表示。 前景 -背景平衡损失函数被定义为 其中 是权重平衡因子。平衡损失函数通过提高前景区域的特征质量来挖掘 true positives 并通过提 高背景区域的特征品质来消除 false positives 。 总损失 。引入 2X 尺度 FPN 的特征图来监督 EFPN 的训练过程不仅底部扩展特征金字塔级别受到监督FTT模块也受到监督。 EFPN 的总体训练目标定义为 是来自 2x 输入 FPN 的目标P2 是 来自 2x 输入 FPN 的目标 P3 。 4、实验 首先使用了微调完成实验在实验过程中通过对有无 FTT 模块进行了实验同时在前景 - 背景平衡损 失函数上通过对不同的损失权重进行设置进行了实验。
