网站开发工资淄博,什么公司做网站的多,杭州猎头公司,怎么做网站的搜索引擎本研究针对在弱光条件下拍摄的图像可能严重降低图像质量的问题进行了探索。解决一系列低光图像的退化可以有效提高图像的视觉质量和高级视觉任务的性能。在本研究中#xff0c;我们提出了一种新颖的基于Retinex的真实低光到真实正常光网络#xff08;R2RNet#xff09;…本研究针对在弱光条件下拍摄的图像可能严重降低图像质量的问题进行了探索。解决一系列低光图像的退化可以有效提高图像的视觉质量和高级视觉任务的性能。在本研究中我们提出了一种新颖的基于Retinex的真实低光到真实正常光网络R2RNet用于低光图像增强其中包括三个子网络分解网络Decom-Net、去噪网络Denoise-Net和重照网络Relight-Net。这三个子网络分别用于图像分解、去噪、对比度增强和细节保护。我们的R2RNet不仅利用图像的空间信息来提高对比度还利用频率信息来保护细节。因此我们的模型在所有退化图像上都取得了更加稳健的结果。与大多数以往的方法不同它们是在合成图像上进行训练的我们收集了第一个大规模真实世界配对的低/正常光图像数据集LSRW数据集以满足训练要求并使我们的模型在真实场景中具有更好的泛化性能。在公开可用的数据集上进行了大量实验结果表明我们的方法在定量和视觉上均优于现有的最先进方法。此外我们的结果显示通过在低光条件下使用我们方法获得的增强结果可以有效提高高级视觉任务如人脸检测的性能。
I. INTRODUCTION 图像捕获中的光照不足严重影响图像质量表现在低对比度和低可见度等多个方面。消除这些退化将低光图像转换为高质量清晰图像有助于提高高级视觉任务的性能例如图像识别[1]、目标检测[2]、语义分割[3]等并且还可以改善一些实际应用中智能系统的性能例如自动驾驶、视觉导航[4]等。因此低光图像增强是非常期望的。在过去几十年中已经有大量方法用于增强在光照不足条件下捕获的退化图像。这些方法在提高图像对比度方面取得了很大进展并能够获得视觉质量更好的增强图像。
低光图像的另一个特殊退化是噪声。许多方法利用额外的去噪方法作为预处理或后处理。然而将去噪方法用作预处理会导致图像模糊而将去噪作为后处理则会导致噪声放大[5]。最近一些方法[6]设计了有效的模型可以同时进行去噪和对比度增强获得令人满意的结果。
值得注意的是以前的许多方法都侧重于利用图像的空间域信息进行增强频域图像处理也是图像增强领域的重要方法之一。高频信息通常代表图像细节如轮廓和边缘或噪声因此我们提出了一种新的用于微光图像增强的Reallow-to-Real normal网络称为R2RNet它利用空间和频率信息来获得高视觉质量的增强图像。我们的网络设计基于Retinex理论[7]该理论包括三个子网Decom Net、Denoise Net和Relight Net。Decom Net的目的是在Retinex理论的指导下将输入的微光图像分解为照度图和反射率图。Denoise Net将分解结果作为输入并使用照明图作为约束来抑制反射率中的噪声以获得具有更好视觉质量的分解结果。通过Decom Net获得的照度图和通过Denoise Net获得的反射率图被发送到RelightNet以提高图像的对比度和亮度。在Decom-Net和Denoise-Net中我们只利用了弱光图像的空间信息因为DecomNet的目的是将输入图像分解为照度图和反射率图而不需要任何进一步的处理。根据 Retinex 理论反射率图包含图像的固有属性因此如果在去噪网络Denoise-Net中使用频率信息来抑制噪声可能会同时抑制反射率图的细节。因此我们在分解网络Decom-Net和去噪网络Denoise-Net中不使用频率信息而是利用图像的空间信息来改善图像对比度并基于快速傅里叶变换提取图像的频率信息以更好地保留图像细节在重照网络Relight-Net中。通过精心设计的网络我们的方法能够适当增强图像对比度保留更多图像细节并抑制噪声。此外在低光条件下使用我们方法获得的增强结果可以有效提高高级视觉任务的性能。
微光图像增强任务的另一个难点是基于学习的模型需要大量数据进行训练而模型的能力通常与训练数据的质量密切相关。然而很难收集足够的真实世界数据尤其是对于成对的图像。大多数基于学习的增强方法使用合成数据集进行训练这限制了它们在真实世界场景中的泛化能力。据我们所知现有的真实世界微光图像数据集只有LOL数据集[8]和SID数据集[9]但这两个数据集中包含的图像数量无法满足深度神经网络的训练要求。因此我们收集了第一个大规模真实世界配对的低/正常光图像数据集名为LSRW数据集用于我们的网络训练。
本文的其余部分组织如下。第二节简要回顾了微光增强方法、图像去噪方法和微光图像数据集的相关工作。第三节介绍了所提出的R2RNet的体系结构和损失函数设置。第四节介绍了实验结果第五节提供了一些结论性意见。
II. RELATED WORK A. Low-light Image Enhancement methods
在过去的几十年里已经有了广泛的方法来增强弱照明图像的对比度。传统的方法主要基于直方图均衡和Retinex理论。直方图均衡是一种简单但有效的图像增强技术它通过改变图像的直方图来增强对比度如保持亮度的bi-HE[10]。Retinex理论假设人类观察到的彩色图像可以分解为照度图和反射率图其中反射率图是图像的固有属性不能改变。增强对比度的目的可以通过改变照明图中像素的动态范围来实现。MSRR[11]利用基于Retinex理论的多尺度高斯滤波器来恢复颜色。SRIE[12]提出了一种加权变分模型来同时估计反射率和照度。MF[13]试图提高照明图的局部对比度并保持自然度。BIMEF[14]使用双姿态算法进行图像增强。除了照明图和反射率图Mading等人[15]添加了噪声图以形成用于进一步增强和去噪的鲁棒Retinex模型。LIME[16]首先通过先验假设估计照度通过加权振动模型获得估计照度随后使用BM3D[17]作为后处理。最近刘等人[18]提出了一种受Retinex启发的架构搜索展开RUAS并设计了一种合作的无参考学习策略以从紧凑的搜索空间中发现低光先验架构。深度学习在计算机视觉领域得到了广泛的应用并取得了良好的效果。许多优秀的方法如CNN、GAN等在各种低级视觉任务中取得了显著的成就包括图像去雾[19]、[20]、图像超分辨率[21]、[22]等。许多研究人员还基于Retinex理论建立了基于学习的模型。MSR-Net[23]利用不同的高斯卷积核来学习低光/正常光图像的映射。RetinexNet[8]将Retinex理论与DeepCNN相结合对光照图进行估计和调整实现图像对比度增强并使用BM3D进行后处理实现去噪。张等人[24]还设计了一种基于Retinex理论的有效网络来增强弱光图像。Lim等人[25]提出了一种深度堆叠拉普拉斯恢复器DSLR用于从原始输入中恢复全局照明和局部细节。此外还提出了一些不基于Retinex理论的方法。董等人[21]提出了一种算法该算法通过使用去雾方法来提高黑暗区域的对比度并提高视觉质量。Ying等人[26]将相机响应模型用于弱照明图像增强。Lore等人[27]提出了一种用于图像对比度增强和去噪的堆叠稀疏去噪自动编码器。Ziaur等人[28]在获得初始传输图之前使用明亮通道并采用L1范数正则化来细化场景传输。郭等人[2]提出了一种轻量级网络Zero DCE将图像增强问题转化为曲线估计问题。姜等人[1]提出了一种基于GAN的微光图像增强网络并首次使用未配对的图像进行训练。
基于Retinex的方法的关键是对照明图和反射率图的估计。由于分解能力有限传统方法往往会导致增强效果过大/不足。基于学习的方法可以获得更好的分解结果并可以适当地提高对比度。值得注意的是大多数基于学习的方法只关注利用弱照明图像的空间信息来获得高质量的正常光图像而将空间和频域信息相结合来进行微光图像增强可以获得更令人满意的增强结果。因此我们的R2RNet使用图像的空间和频率信息进行增强。空间信息用于对比度增强频率信息用于恢复更多的图像细节。
B. Denoising methods
除了对比度增强之外增强弱照明图像还需要噪声抑制。传统的图像去噪方法依赖于手工制作的特征并使用离散余弦变换或小波变换来修改变换系数。NLM[29]和BM3D使用自相似补丁在图像保真度和视觉质量方面取得了卓越的效果。基于监督学习的图像去噪方法如DnCNN-B[30]、FFDNet[31]和CBDNet[32]利用高斯混合模型进行去噪。梅等人[33]充分利用浅像素级特征和自相似性实现像素特征和语义特征之间的平衡以保留更多细节。Kim等人[34]提出了CBAM以专注于学习噪声图像和清晰图像之间的差异。Chen等人[35]使用GAN对从真实噪声图像中提取的噪声信息进行建模并将生成器生成的噪声块与原始清晰图像相结合合成新的噪声图像。ADGAN[36]提出了一种特征金字塔注意力网络以提高对噪声建模时网络特征提取的能力。
这些方法可以获得令人印象深刻的去噪效果。然而直接使用这些方法作为微光图像增强方法的预处理或后处理会导致模糊或噪声放大。为了避免这种情况我们的方法可以同时进行对比度增强和去噪。
C. Low-light Image Datasets
微光图像增强任务的另一个困难是基于学习的模型通常需要大量数据但很难收集足够的微光图像。由于缺乏真实世界的配对图像大多数方法使用基于正常光图像的合成图像。Lore等人[27]对每个通道应用伽马校正来合成微光图像。Lv等人[37]使用了与LLNet相同的图像合成策略。Lv等人[38]和Wang等人[39]将线性变换和伽玛变换相结合以获得配对图像。王等人[40]通过使用相机响应函数并对微光图像中的噪声分布进行建模来获得合成图像。
据我们所知现有的真实世界微光图像数据集只有LOL数据集和SID数据集它们都通过固定相机位置和改变ISO和曝光时间来捕捉成对的微光/常光图像。LOL数据集包含500个低光/正常光图像对。SID数据集包含5094张短曝光图像和424张长曝光图像多个短曝光图像对应于一个长曝光图像。然而上述两个数据集中包含的图像数量无法支持DeepCNN的训练SID数据集主要适用于极弱照明的图像增强这与我们关注的不同。为了满足我们网络的训练要求我们使用尼康D7500相机和华为P40 Pro手机收集真实世界的配对图像形成我们的LSRW数据集。
III. LSRW DATASET
微光图像增强任务中的困难之一是缺乏在真实场景中捕获的成对的微光/正常光图像。现有的真实世界配对图像数据集仅为LOL数据集和SID数据集SID主要适用于极低光图像增强这与我们的担忧不一致。为了满足DeepCNN的训练要求并为后续研究提供支持我们提出了第一个大规模的真实世界配对图像数据集命名为LSRW数据集。LSRW数据集包含由尼康D7500相机和华为P40 Pro手机拍摄的5650张配对图像。我们使用尼康相机收集了3170张配对图像使用华为手机收集了2480张配对图片。
可以通过降低ISO并使用较短的曝光时间来减少光输入量来获得低光图像而可以通过使用较大的ISO和较长的曝光时间获得正常光图像。我们选择收集室内和室外场景的LSRW数据集。在室内场景中获取低光图像时会增加曝光时间以避免捕捉到极暗的图像。类似地当在室外场景中获得正常光照图像时将减少曝光时间以避免拍摄过度曝光的图像。低光照条件的ISO值固定为50正常光照条件固定为100。我们可以通过改变曝光时间来获得成对的低光/正常光图像。请注意在减少曝光时间时如果有移动物体或相机/手机抖动低光图像将变得模糊。因此为了避免相机/手机抖动我们使用三脚架固定相机/手机的位置并通过远程控制调整ISO和曝光时间。同时我们选择的场景是静态的没有任何运动物体这可以确保拍摄到的低光图像不会模糊。低光照条件的ISO值固定为50正常光照条件固定为100。当使用尼康获得低光图像时曝光时间被限制为1/200到1/80而正常光图像的曝光时间被限于1/80到1/20。当使用华为获得低光图像时曝光时间限制在1/400到1/100而普通光图像的曝光时间限制为1/100到1/15。我们从LSRW数据集中选择了5600对配对图像进行训练其余50对进行评估。表I总结了LSRW数据集。图2显示了LSRW数据集中的几个图像对包括室内和室外场景。 IV. METHOD
A. Network Architecture
我们提出了一种新的深度卷积神经网络称为R2RNet它由三个子网组成DecomNet、Denoise Net和Relight Net。Decom Net基于Retinex理论将输入的弱照明图像分解为照明图和反射率图。去噪网将分解后的结果作为输入并使用照明图作为约束来抑制反射率图中的噪声。随后通过Decom Net获得的照明图和通过Denoise Net获得的反射率图被发送到Relight Net以获得具有更好视觉质量的正常光图像。因此我们的方法可以提高对比度保留更多的细节同时抑制噪声。R2RNet的网络架构如图3所示。详细说明如下 Decom-Net基于Retinex的方法的关键是获得高质量的光照图和反射率图分解结果的质量也会影响后续的增强和去噪过程。因此设计一个有效的网络来分解弱照明图像是很重要的。残差网络[41]已被广泛应用于许多计算机视觉任务并取得了良好的效果。得益于跳跃连接结构残差网络可以使深度神经网络在训练阶段更容易优化而不会导致梯度消失或爆炸。受此启发我们在DecomNet中使用多个残差模块RM来获得更好的分解结果。每个RM包含5个卷积层核大小为{1331}核的数量分别为{6412825612864}。我们在快捷连接处添加了一个64×1×1的卷积层。在每个RM前后还有一个64×3×3的卷积层。
Decom-Net每次获取成对的低光/正常光图像Slow和Snormal并在低光图像和正常光图像共享相同反射率图的指导下学习低光图像及其对应的正常光图像的分解。在训练过程中无需提供反射率和照明。只有必要的知识包括反射率的一致性和照明图的平滑度作为损失函数嵌入到网络中。注意正常光照图像的照度图和反射率图不参与后续训练仅为分解提供参考。
Denoise-Net: 大多数传统方法和以前基于Retinex理论的学习方法在获得分解结果后都没有考虑噪声这会导致最终的增强结果受到反射图中噪声的影响。最近研究人员设计了有效的模型可以抑制噪声同时增强微光图像的对比度。受此启发我们还设计了一个去噪网来抑制反射率图中的噪声。与大多数基于学习的方法类似我们的去噪网只使用图像的空间信息因为通过抑制反射率图中的高频信号来消除噪声可能会导致固有细节的损失。
U-Net[42]由于其出色的结构设计在大量的计算机视觉任务中取得了优异的效果。在微光图像增强领域大量网络都采用U-Net作为主要架构或其一部分。Chen等人[9]直接使用U-Net对图像进行增强而不对网络进行任何修改并取得了良好的效果。受残差网络的启发Res-UNet[43]为U-Net的每个子模块替换了一个具有残差连接的模块。然而U-Net和Res-UNet在特征提取阶段使用了多个最大池层最大池层会导致特征信息的丢失这是我们不希望的。受[44]的启发我们将最大池化层替换为步长卷积层这将略微增加网络参数但提高性能。U-Net和Res-UNet都属于“浅宽”架构Li等人[45]证明了“深窄”架构更有效因此我们用RM代替UNet的每个子模块来构建“深窄的”Res-UNet本文将其命名为DN-ResUnet。去噪网中使用的RM与Decom网中的RM略有不同除了最后一个1×1卷积层外卷积的数量保持在128个而没有增加。此外我们在网络的前两层使用扩张卷积来提取更多的特征信息。如图5所示我们的去噪网获得的照明图在抑制噪声的同时保留了原始图像的细节。
Relight-Net:在得到分解结果后有必要提高照明图的对比度以获得高视觉质量的结果这是RelightNet设计的目的。受在其他图像恢复任务中结合空间和频率信息以恢复高质量清晰图像的有效性[46]的启发我们的RelightNet由两个模块组成对比度增强模块CEM和细节重建模块DRM。CEM使用空间信息进行对比度增强其架构类似于去噪网我们还利用多尺度融合在扩展路径中连接每个去卷积层的输出以减少特征信息的损失. DRM基于傅立叶提取频率信息转换以恢复更多详细信息。傅立叶变换旨在获得信号在频域中的分布。数字图像也是一种信号傅立叶变换可以将图像从空间域变换到频域逆傅立叶变换可以使图像从频域变换到空间域。因此我们可以通过傅立叶变换得到图像的光谱信息。高频信号表示图像中的强烈变化内容即细节或噪声低频信号表示不频繁变化的平滑变化内容例如背景。我们可以通过增强图像中的高频信号来恢复更多细节从而从退化的图像中恢复清晰的图像。
原始的傅立叶变换是耗时的所以我们在本文中使用快速傅立叶变换。经过傅立叶变换后我们将得到一个与原始图像大小相同的矩阵。矩阵中的点描述图像的频域信息。每个点都是一个复数AjB其模量√A2B2描述振幅其方向arctanBA描述相位角。如果我们想利用图像的频域信息来实现细节重建我们需要对获得的复矩阵进行处理。Chiheb等人[47]提出了关键的原子成分复杂卷积、复杂批量归一化和复值激活以形成复值深度神经网络并在许多计算机视觉任务和音频相关任务中实现最先进的性能。复数卷积将复数滤波器矩阵WAjB与复值向量hxjy卷积其中a和B是实值矩阵x和y是实值向量。在用滤波器W对向量h进行卷积后我们可以得到WhAx−By iBx Ay。并且复数ReluCRelu在神经元的实部和虚部上使用单独的Relu即CReluWRelua iReLUB。因此我们选择了复数卷积和CRelu来形成我们的DRM.所以我们可以在频域中对幅度和相位信息进行aggregate。
我们的DRM由两个空间-频率-空间转换块SFSC块和一个频率信息处理块FIP块组成。SFSC块旨在对频域和空间域信息流进行聚合。SFSC块首先通过使用第一Resblock来处理空间域中的特征并且通过使用快速傅立叶变换将输出特征转换到频域中。随后complexResblock被用于处理频域信息并最终使用傅立叶逆变换将频域信息转换到空间域这可以最大限度地提高空间域和频域中的信息交换。FIP块用于模拟高通滤波器增强图像边缘轮廓实现细节重建。FIP块的输入包含特征级和图像级频率信号以减少由空间域和频域信息之间的转换引起的信息损失。特征电平信号表示SFSC块的输出并且可以通过基于快速傅立叶变换将输入图像直接映射到频域来获得图像电平信号。CEM和DRM的输出将被组合为增强照明图。注意DRM和CEM的输出通道数为64因此我们添加了一个3×3卷积层和一个1×1卷积层来降维。RelightNet的体系结构如图4所示。
Relight Net的输入是由Decom Net获得的照明图Ilow和由Denoise Net获得的反射率图输出是增强照明图。最后通过逐元素相乘将去噪反射率和增强的照明度组合为最终结果其可以描述为 我们的方法得到的分解结果如图5所示。DenoiseNet获得的反射率图在抑制噪声的同时保留了原始图像的细节RelightNet适当地提高了照明图的对比度并保留了更多的细节
B. Loss Function
在训练阶段三个子网分别进行训练因此整个损失函数由三部分组成分解损失LDc、去噪损失LDn和重新照明损失LRe。每个损失都包含两个部分 内容损失与感知损失
分解损失我们的分解损失包括两部分内容损失LDc−con和感知损失LDc–per。我们使用L1损失作为内容损失 并且我们基于从VGG-16预训练模型中提取的特征来计算感知损失并且与以前的方法相比我们在激活层之前而不是之后采用特性 去噪损失与分解损失类似去噪损失包含两部分内容损失LDn−con和感知损失LDn–per。我们还采用L1损耗作为内容损失 此外由于我们使用了Relight Net中的频率信息我们提出了一种新的频率损耗来帮助Relight Net恢复更多细节。通过快速傅立叶变换将增强图像和锐化图像转换到频域并利用Wasserstein距离来最小化增强结果的实部和虚部与频域中的地面实况之间的差异。频率损耗公式为 V. EXPERIMENTS
A. Implementation Details
我们的实现是用PyTorch完成的。所提出的网络在1080Ti GPU上用我们的LSRW数据集训练了20个时期后可以快速收敛。我们使用Adam[49]优化器lr10−3β10.9β20.999。批量大小和补丁大小分别设置为4和96。我们还使用了学习率衰减策略在10个时期后将学习率降低到10−4。将等式2中的λ1和λ2设置为0.01将等式4中的λ3、等式7中的λ4和等式11中的λ5设置为0.1将等式11中的λ6设置为0.01。有关我们网络的更多实现细节请参阅我们即将发布的代码。
B. Comparison with State-of-the-Arts on the Real Datasets
我们在六个公开可用的数据集上包括LOL、LIME、DICM[50]、NPE[51]、MEF[52]和VV1将所提出的方法与现有的现有技术方法MF、Dong、NPE、SRIE、BIMEF、MSRRR、LIMERetinexNet、DSLR、MBLLEN、EnlightenGAN和Zero DCE进行了比较。为了进行公平的比较我们使用了这些方法的发布代码没有任何修改并使用我们的LSRW数据集来训练基于监督学习的方法包括Retinexnet、MBLLEN和DSLR。由于Zero DCE和EnlightenGAN使用未配对的数据进行训练我们使用他们发布的预训练模型进行比较。LOL数据集通过改变相机的曝光时间和ISO捕获了500对真实的低光/正常光图像。这是用于微光图像增强的唯一现有的真实微光/正常光图像数据集SID数据集用于极微光图像增强。结果如表二所示。可以看出我们的方法在LOL数据集上的PSNR和SSIM都优于现有技术所提出的R2RNet实现了最佳性能平均PSNR得分为20.207dBSSIM得分为0.816在PSNR上超过第二好方法MBLLEN1.347dB20.207-18.860在SSIM上超过0.0620.816-0.754。视觉对比如图6所示。可以看出一些传统方法如SRIE、NPE会导致增强不足的结果而其他基于Retinex理论的方法如LIME、RetinexNet会模糊细节或放大噪声。我们的方法生成的增强结果不仅可以提高局部和全局对比度具有更清晰的细节而且可以很好的抑制噪声这表明我们的方法可以同时增强图像对比度和抑制噪声。请放大以比较更多详细信息。LIME、DICM、NPE、MEF、VV通常被用作微光图像增强方法评估的基准数据集这些数据集只包含微光图像因此PSNR和SSIM不能用于定量评估。因此我们使用非参考图像质量评估NIQE来评估我们的方法的性能。结果如表III所示。一些视觉比较如图7所示。请放大以比较更多详细信息。
C. User Study
我们进行了一项用户研究以比较我们的方法和其他方法的性能。我们在真实世界场景中收集了20张额外的微光图像供用户研究并邀请10名参与者评估使用五种不同方法NPE、LIME、EnlightenGAN、MBLLEN和Our方法获得的真实微光图像的增强结果。参与者应该考虑对比度、伪影、噪声细节和颜色并根据增强图像的性能对其进行评级从1到51表示最好5表示最差。图8显示了分数的分布我们的方法得到了最好的结果这表明我们的方法获得的增强图像在视觉上更令人满意。
D. Ablation Study
在本节中我们基于LOL数据集定量评估了模型中不同成分的有效性和损失函数设置。结果如表IV所示。
CEM和DRM的有效性我们通过分别删除CEM和DRM来构建我们的RelightNet来评估对比度增强模块CEM和细节重建模块DRM在RelightNet中的有效性。删除CEM或DRM将显著降低我们模型的性能。如表IV所示实验结果表明将空间和频率信息结合可以获得比单独使用频率信息更好的性能。
深窄架构的有效性我们评估DN ResUnet的有效性并将其与相应的“浅宽”ResUnet进行比较。我们用ResUnet替代 DN-ResUNet结构我们提出的DN ResUnet在PSNR上超过了ResUnet 0.971dB20.207-19.236在SSIM上超过了ResUnet 0.0110.816-0.805。结果表明我们的默认体系结构将带来更好的性能。
损失函数设置为了探索损失函数设置的有效性我们分别通过将内容损失转换为MSE损失、去除感知损失和去除频率损失来进行实验。使用L1损耗超过MSE损耗PSNR上为0.676dB20.20719.531SSIM上为0.0120.816-0.804。去除感知损耗和频率损耗将导致性能下降。去除感知损失后PSNR下降0.868db20.207-19.339SSIM下降0.0430.816-0.73。去除频率损耗后PSNR下降0.451db20.207-19.756SSIM下降0.0120.8160.804。实验结果验证了我们设置损耗函数的合理性。
E. Pre-Processing for Improving Face Detection
图像增强作为改善后续高级视觉任务的预处理最近受到了越来越多的关注[53][54]。我们研究了光增强对DARK FACE数据集2的影响该数据集专门用于在弱光条件下进行人脸检测。DARK FACE数据集由6100张夜间拍摄的真实世界微光图像组成包括训练/验证集中的6000张图像和测试集中的100张图像。由于测试集中没有相应的标签我们从训练集中随机选择100张图像进行评估将我们的R2RNet作为预处理步骤然后是两种最先进的预训练人脸检测方法RetinaFace[55]和DSFD[56]。使用R2RNet作为预处理增强后的平均精度AP从17.12%DSFD微光图像和15.28%RetinaFace微光图像分别提高到33.98%DSFD R2RNet和25.97%Retina Face R2RNet。我们还使用EnlightenGAN和MBLLEN进行了实验。EnlightenGAN将AP分别提高到32.75%和23.44%MBLLEN将AP分别提升到31.69%和24.67%。人脸检测结果示例如图9所示。
VI. CONCLUSION
在本研究中我们基于Retinex理论提出了一种新的用于微光图像增强的真实低到真实网络该网络包括三个子网络Decom Net、Denoise Net和Relight Net。通过我们的方法获得的增强结果具有更好的视觉质量。与以前的方法不同我们收集了第一个用于网络训练的大规模真实世界配对低/正常光图像数据集称为LSRW数据集。结果在公开的数据集中我们的方法可以适当地提高图像对比度和抑制噪声并获得最高的PSNR和SSIM分数这在很大程度上优于最先进的方法。我们还表明我们的R2RNet可以有效地提高低光照条件下人脸检测方法的性能。
