网页设计茶叶网站建设,wordpress 做网店,网站域名的选择,怎么才能成功做网站背景
现有的水下数据集或多或少存在图像数量少、水下场景少、甚至不是真实场景等缺点#xff0c;限制了数据驱动的水下图像增强方法的性能。此外#xff0c;水下图像在不同颜色通道和空间区域的衰减不一致也没有统一的框架。
贡献
1#xff09;提出了一种处理 UIE 任务的…背景
现有的水下数据集或多或少存在图像数量少、水下场景少、甚至不是真实场景等缺点限制了数据驱动的水下图像增强方法的性能。此外水下图像在不同颜色通道和空间区域的衰减不一致也没有统一的框架。
贡献
1提出了一种处理 UIE 任务的新型 U 型Transformer其中基于Transformer设计的通道和空间注意机制能够有效消除色彩伪影和偏色。
2设计了一种新颖的多色彩空间损失函数结合了 RGB、LCH 和 LAB 色彩空间特征进一步提高了输出图像的对比度和饱和度。
3发布了一个大型数据集其中包含 4279 幅真实水下图像以及相应的高质量参考图像、语义分割图和介质传输图这有助于进一步开发 UIE 技术。
LSUI数据集
收集了 8018 幅水下图像通过主观和客观两轮评估来选择参考图像以尽可能消除潜在的偏差。 在第一轮中受多个弱分类器可以组成一个强分类器的集合学习[46]的启发我们首先使用现有的 18 种最优 UIE 方法相继处理收集到的水下图像生成一个包含 18 ∗ 8018 幅图像的集合用于下一步最佳参考数据集的选择。为了减少需要人工选择的图像数量采用了非参考指标 UIQM 和 UCIQE 对所有生成的图像进行等权重评分。然后每个原始图像的前三张参考图像组成一个大小为 3∗8018 的集合。考虑到个体差异我们邀请了 20 名具有图像处理经验的志愿者根据 UIE 任务中最重要的 5 个判断对比度、饱和度、色彩校正效果、伪像程度、增强过度或不足程度对图像进行评分评分范围为 0-10 分分数越高表示越满意。将每项得分归一化为 0-1 后每张参考图片的总分为 1005 ∗ 20。在每张原始水下图像中选择总和值最高的一张参考图像。此外数据集中剔除了总和值低于 70 的图像。在第二轮中我们邀请志愿者再次对每张参考图片进行投票选出其存在的问题并确定相应的优化方法然后使用适当的图像增强方法对其进行处理。接下来邀请所有志愿者再进行一轮投票删除半数以上志愿者不满意的图片对。为了提高 LSUI 数据集的实用性我们还为每幅图像手工标注了分割图并生成了介质透射图介质透射图的生成方法。最终我们的 LSUI 数据集包含 4279 幅图像以及每幅图像对应的高质量参考图像、语义分割图和介质透射图。
U型Transformer
整体结构包括一个基于 CMSFFT 和 SGFMT 的生成器和一个鉴别器 在生成器中(1) 编码除直接输入网络外原始图像将被分别降采样三次。然后经过 1*1 卷积将三个尺度特征图输入相应的尺度卷积块。四个卷积块的输出是 CMSFFT 和 SGFMT 的输入2解码经过特征重映射后SGFMT 的输出被直接发送到第一个卷积块。同时四个不同尺度的卷积块将接收 CMSFFT 的四个输出。 在鉴别器中四个卷积块的输入包括自身上层输出的特征图、解码部分输出的相应大小的特征图以及使用参考图像降采样到相应大小后通过 1 ∗ 1 卷积生成的特征图。通过所述的多尺度连接梯度流可以在生成器和判别器之间的多个尺度上自由流动从而获得稳定的训练过程丰富生成图像的细节。
SGFMT模块 使用SGFMT替换生成器原有的瓶颈层可以辅助网络对全局信息进行建模加强网络对严重退化部分的关注。假设输入特征图的大小为。对于预期的变压器一维序列采用线性投影将二维特征图拉伸为特征序列。为了保留每个区域的有价值的位置信息直接合并可学习的位置嵌入可以表示为
其中W * Fin表示线性投影操作PE表示位置嵌入操作。
然后我们将特征序列 Sin 输入transformer模块该模块包含 4 个标准transformer层。每个transformer层都包含一个多头注意力模块MHA和一个前馈网络FFN。前馈网络包括一个归一化层和一个全连接层。transformer块中第 层∈ [1, 2, ..., ]的输出可以通过以下方式计算 LN 表示归一化层表示变换块中第 层的输出序列。最后一个变换块的输出特征序列为 ∈ 经过特征重映射后还原为 的特征图。
CMSFFT模块
为加强网络对衰减较严重的彩色通道的关注它由三部分组成。 1多尺度特征编码
输入是具有不同尺度的特征图相关滤波器大小为步长为的卷积核(i0123)对不同尺度的特征图进行线性投影。本文将P设为32。得到四个特征序列这四个卷积核将特征图划分为相同数量的块而通道 Cii 1、2、3、4的数量保持不变。可以得到四个查询向量可由其中 和表示可学习权重参数S由通过信道维度串联生成其中分别设置为64128256512。
2通道多头注意力CMHA
CMHA模块有六个输入分别是通道注意力的输出可由下式获得其中 IN 表示实例归一化操作。这种关注操作可引导网络关注图像质量下降更严重的通道。与批归一化BN不同IN 应用于整批图像而不是单个图像。 第 i 层 CMHA 的输出可以表示为 其中N表示头部的数量本文设置为4。
3前馈神经网络FFN
FFN 输出可表示为其中MLP 表示多层感知器。公式中的运算需要依次重复 次本作品中为 4以建立 层变换器。
最后对四个不同的输出特征序列 进行特征重映射将其重组为四个特征图 它们是发生器解码部分卷积块的输入。
损失函数
设计了一个结合 RGB、LAB 和 LCH 色彩空间的多色彩空间损失函数来训练我们的网络。首先将 RGB 空间的图像转换为 LAB 和 LCH 空间然后读取 x、y 和 G(x) 分别代表原始输入、参考图像和生成器输出的清晰图像。 LAB 和 LCH 空间的损耗函数公式
其中 Q 代表量化算子。在不同的色彩空间中对某一通道进行量化的目的是计算增强图像与参考图像在该通道上的交叉熵损失。 RGB 色彩空间的 L2 损失 和感知损失 以及 和 是生成器的四个损失函数。 此外还引入了标准的 GAN 损失函数用于最小化生成图片与参考图片之间的损失其写法为: 其中 D 代表判别器。D 的目标是最大化 (GD)以准确区分生成的图像和参考图像。而生成器 G 的目标是最小化生成图像和参考图像之间的损失。 最终的损失函数表示为 α、β、γ、μ 为超参数分别设为 0.001、1、0.1、100。
实施细节
数据集
训练集LSUI 数据集中被随机分的 Train-L4500 张图像 UIEB数据集中 的 800 对水下图像Train-U 和 1,250 张合成水下图像 EUVP 数据集中包含的成对训练图像的Train-E 。 测试集1全参考测试数据集Test-L400400 张图像和Test-U90UIEB中剩余的90对2非参考测试数据集Test-U60UIEB 中的 60 幅非参考图像和 SQUID16 幅图像。
评估指标
对于包含参考图像的测试数据集我们使用 PSNR 和 SSIM 指标进行了全参考评估。 对于非参考测试数据集中的图像采用了非参考评价指标 UCIQE 和 UIQM其中 UCIQE 或 UIQM 分数越高表明人类视觉感知越好。引入了一个 感知分数PS表示。PS 的范围为 1-5分数越高表示图像质量越高。此外我们还采用了 NIQE其数值越低表示视觉质量越高。
色彩空间选择
使用由单一色彩空间损失函数和其他损失函数组成的混合损失函数来训练 U 型Transformer。我们使用 Train-L 训练网络然后分别在 Test-L400 和 Test-U90 数据集上测试并计算 PSNR。结果如表 I 所示。
数据集评估 全参考评估 无参考评估 与其他图像修复网络相比 色彩修复性能评估
为了证明此 UIE 色彩校正方法的鲁棒性和准确性我们在 Color-Checker7 数据集上比较了 10 种 UIE 方法的色彩校正能力。Color-Checker7 数据集包含用不同相机从浅水池拍摄的 7 幅水下图像。每张图像中还拍摄了色彩检查器。
消融实验
在 Test-L400 和 Test-U90 上进行了一系列消融研究。我们考虑了四个因素包括 CMSFFT、SGFMT、多尺度梯度流机制MSG和多色空间损失函数MCSL。在消融研究中我们还添加了一个基于 UNet 的网络名为 UNet [67]其中包含更多参数。
总结
这项实验发布了一个大规模水下图像LSUI数据集其中包含真实世界的水下图像与现有的水下数据集相比具有更丰富的水下场景水域类型、光照条件和目标类别并生成相应的清晰图像作为对比参考。同时也提供了每张原始水下图像的语义分割图和介质传输图。此外提出了一种 U 型Transformer网络以实现最先进的 UIE 性能。该网络的 CMSFFT 和 SGFMT 模块可以解决水下图像在不同颜色通道和空间区域的不一致衰减问题而这在现有方法中是没有考虑到的。大量实验验证了该网络去除色彩伪影和偏色的卓越能力。结合多色彩空间损失函数输出图像的对比度和饱和度得到了进一步提高。然而由于所收集到的复杂场景的图像还有所欠缺如深海低照度场景。因此在今后的工作中引入其他通用增强技术如弱光增强技术。
