广西住房和城乡建设门户网站,做网站内存最小源码,常州百度公司,网页设计与制作题库与答案Abstract
提出了一个框架#xff0c;名为R-YOLO#xff0c;不需要在恶劣天气下进行注释。考虑到正常天气图像和不利天气图像之间的分布差距#xff0c;我们的框架由图像翻译网络#xff08;QTNet#xff09;和特征校准网络#xff08;FCNet#xff09;组成#xff0c;…Abstract
提出了一个框架名为R-YOLO不需要在恶劣天气下进行注释。考虑到正常天气图像和不利天气图像之间的分布差距我们的框架由图像翻译网络QTNet和特征校准网络FCNet组成用于逐步使正常天气域适应不利天气域。具体来说我们使用简单而有效的QTNet来生成图像这些图像继承了正常天气域中的注释并对两个域之间的间隙进行插值。然后在FCNet中我们提出了两种基于对抗性学习的特征校准模块以局部到全局的方式有效地对其两个领域中的特征表示。
Introduction
基于UDA的方法将知识从源域转移到目标域以弥补域差距提高泛化能力。用于对象检测器的最先进的SOTAUDA方法主要依赖于对抗性学习来在全局级别和实例级别对齐源图像和目标图像的表示。然而在一级物体探测器上使用上述方法的问题有两个
全局级别的特征对齐容易发生负迁移使得UDA模型甚至表现得比模型在源域上更差其次主要针对受益于区域建议网络的两级检测器设计了实例级特征自适应方法。 提出了一个R-YOLO网络包含QTNet图像翻译网络和FCNet特征对齐网络来逐步减少两个域之间的差异。我们声称作为预处理步骤不需要在源域和目标域之间进行严格的翻译我们只能将图像生成为两个域之间的插值以指导对抗性学习。因此我们设计了一个简单而有效的网络来学习残差图像以在源域和目标域之间进行相互图像翻译。与现有的图像翻译/恢复方法相比我们的QTNet有三个主要优势它生成具有相同场景但位于不同域的跨域图像有利于以下基于对抗性学习的特征对齐它不需要对朦胧和雨天图像的先验知识因此可以统一用于不利图像的翻译任务易于训练以避免基于GAN的方法的训练问题。 在FCNet中提出了两种对抗性学习模块逐像素特征对齐模块PFC全局特征对其模块GFC PFC模块以像素方式对齐低级别特征以增强前景对象和背景的跨域这对于降低后续全局特征对齐中的负迁移风险非常重要。 GFC模块使用多尺度特征对抗性训练来全局消除不同域之间特征图上的多样性并增强对象类别对齐。
主要贡献如下
我们提出了一个统一的一阶段目标检测器训练框架即R-YOLO在恶劣天气下不使用不利领域注释。R-YOLO包含QTNet和FCNet适用于所有YOLO系列检测器且有着相同的推理速度。设计了一种简单且有效的网络来相互转化正常图像和不利图像以生成两个域之间的插值。我们还建议使用两种对抗性学习模块来逐步减少特征水平上的领域差异。
Method 我们有两个主要目标来提高YOLO在恶劣环境下的性能
在不引入基于GAN的方法的训练问题的情况下设计一个简单而有效的图像翻译网络来进行数据扩充提出一种为一级检测器量身定制的特征对准网络避免触发负转移
QTNet 我们的QTNet的目的是设计一个适用于朦胧和雨天图像的统一网络因此在图像翻译过程中无法探索任何特定于天气的信息或先验信息。受残差图像最近在图像恢复和增强任务中的成功启发如图像去噪[45]、[46]、[47]和图像阴影去除[48]、[49]、[50]我们设计了带有残差模块的QTNet以直接缩小从输入到输出的映射范围使学习过程更容易。我们使用简单的自动编码器作为主干并添加跳过连接路径将多层编码器特征融合到解码器特征中。为了改进网络训练过程我们在自动编码器的输入和输出之间添加了跳跃连接使其能够学习负残差映射。 具体来说使用源域和目标域图像XS、XT我们可以获得合成目标图像XST。然后QTNet可以训练成对的XS、XST图像如果XS被用作输入图像则XST被用作GT图像反之亦然。 我们使用多尺度重建损失来监督图像翻译后的语义保存网络训练可以定义如下 xi是输入图像QTNetxi是输出图像xiG是xi对应的GT图像。d是损失强制执行的总层数λi是对应每层的权重参数。注意QTNet训练的都是合成图像一旦经过训练就可以被用来翻译图像。我们还使用感知损失来生成逼真图像。具体来说给定QTNet的输出图像及其相应的GT图像我们使用预训练的网络例如在ImageNet上预训练的VGG来提取上述两幅图像的特征。然后我们使用这两个特征之间的MSE损失来评估生成图像的真实性从而感知损失Lp可以指导高真实性图像生成的QTNet训练可以定义如下 训练QTNet的损失如下 生成的图像的重要性有三个方面这有利于以下特征自适应步骤
我们可以在目标域中获得大量的注释样本生成的图像可以看作是源域和目标域之间的插值样本它驱动源域决策边界适应目标域对于大量的跨域图像具有相同场景但在不同域中的图像我们可以在不考虑语义不一致问题的情况下对齐两个域中的特征从而避免负迁移。
FCNet特征对齐网络
得益于生成的跨域图像我们在FCNet中进行了基于对抗性学习的特征对齐其关键是学习鉴别器无法识别的常见特征分布。为此我们提出了两种特征校准模块PFC模块和GFC模块以消除两个领域在特征水平上的差异。FCNet建立在YOLO主干上而不改变YOLO网络结构。我们唯一做的事就是添加两种鉴别器和对应损失函数来限制特征学习。
PFC 我们发现与正常天气相比恶劣天气下的物体细节和背景之间存在巨大差异。具体来说悬浮的微小颗粒或快速下落的雨滴首先影响前景对象和背景的颜色、边缘和纹理等低级特征然后导致对象的草图和语义等高级特征的差异。因此有必要且相对容易地将每个像素的低水平特征校准为对不利天气具有鲁棒性的共同分布。 Dp是像素特征鉴别器在本文中是简单的Convsigmoid。Gp(xi)j表示从Gpxi获得的特征图中的第j个位置的特征向量H和W是Gp(xi)的高度和宽度。对于QTNet生成的跨域图像可以严格保证源图像和目标图像之间的语义一致性。然后在低级别特征图上实施PFC损失可以以像素方式对齐低级别特征以有效地增强关于前景对象和背景细节的跨域特征。然后在低级别特征图上实施PFC损失可以以像素方式对齐低级别特征以有效地增强关于前景对象和背景细节的跨域特征。
GFC Module 一旦像素级低级别特征被校准就更容易通过多尺度GFC模块学习图像级对齐的特征表示例如图像风格、全局亮度和暗度。根据YOLO结构以YOLOv3为例其中多尺度特征图被提取并发送到用于收集不同尺度特征图的颈部结构我们在多尺度特征上强制执行GFC模块。多尺度GFC损失定义如下
