做百度网站排,网站地图对seo的影响,一路商机网,国外购物网站建设GitHub - Ysz2022/NeRCo: [ICCV 2023] Implicit Neural Representation for Cooperative Low-light Image Enhancement
参考#xff1a;ICCV2023 | 将隐式神经表征用于“低光增强”#xff0c;北大张健团队提出NeRCo (qq.com)
以下三个因素限制了现有低光图像增强方法的应用…
GitHub - Ysz2022/NeRCo: [ICCV 2023] Implicit Neural Representation for Cooperative Low-light Image Enhancement
参考ICCV2023 | 将隐式神经表征用于“低光增强”北大张健团队提出NeRCo (qq.com)
以下三个因素限制了现有低光图像增强方法的应用不可预测的亮度退化和噪声、度量友好和视觉友好版本之间固有的差距以及有限的配对训练数据。为了解决这些限制我们提出了一种用于合作式低光图像增强的隐式神经表示方法名为NeRCo。它以无监督的方式稳健地恢复感知友好的结果。具体而言NeRCo通过可控的拟合函数统一了现实场景的多样化退化因素从而提高了稳健性。此外对于输出结果我们引入了从预训练视觉-语言模型中得出的语义导向监督。它不仅仅是跟随参考图像而是鼓励结果符合主观期望找到更符合视觉习惯的解决方案。此外为了减少对配对数据的依赖并减少解决方案空间我们开发了一个双闭环约束增强模块。它以自我监督的方式与其他相关模块合作进行训练。最后大量实验证明了我们提出的NeRCo方法的稳健性和优越效果。 1. Introduction
由于低光图像中物体被覆盖并降低对比度导致亮度降低低光图像严重影响了随后的高级计算机视觉任务例如目标检测 [23] 和语义分割 [15] 等。因此解决亮度退化对于协助探索复杂黑暗环境具有实际重要性。近年来低光图像增强引起了广泛关注旨在恢复退化区域中所需内容的图像增强方法 [31, 9, 10, 12, 24, 11, 16, 46]。
在过去几年中已经提出了大量算法来解决这个经典的不适定问题大致可分为两类传统基于模型的方法例如直方图均衡化 [31]伽马校正 [29]Retinex模型 [30] 和锐化掩模算法 [7]以及最近的基于深度学习的方法 [22, 51, 16, 44]。前者将退化视为物理模型并将增强视为估计模型参数的问题但在表征多样化的低光因素方面存在局限并需要大量手工先验知识。后者详细说明了各种模型来调整色调和对比度能够自动从大量数据中学习。基本上它们被训练来学习从输入到输出领域的映射关系。然而在现实场景中许多样本远离了输入域的特征空间导致训练好的模型缺乏稳定的效果。我们提出在增强之前对退化进行标准化以使这些样本更接近输入域。此外现有的监督方法高度依赖配对训练数据并且主要试图产生度量友好的结果即与真实数据相似。但有限的监督数据集和度量导向与视觉友好版本之间固有的差距必然影响它们的有效性。
我们制定了一个自我监督的培训策略来解决这个问题。如图1所示我们对仅包含低光图像而没有常规光参考的LIME [12]数据集进行评估。可以看到即使是最近提出的表现最佳的算法也存在严重的色彩偏差。
具体来说我们的关键见解包括 i) 使用可控的拟合函数对输入进行标准化以减少现实场景中不可预测的退化特征。我们采用神经表示来再现增强操作之前的退化场景。通过操纵位置编码我们有选择性地避免再现极端退化客观上实现了标准化从而降低了增强的难度。 ii) 通过不同的模态监督输出实现度量友好和感知导向的增强。我们采用多模态学习从文本和图像两个角度进行监督。与图像监督相比设计的提示的特征空间更稳定准确地描述亮度在不同样本之间具有更一致的亮度。在训练过程中我们的结果不仅被鼓励与参考图像相似还被强制与它们的相关提示匹配。通过这种方式我们弥合了度量友好版本和感知友好版本之间的差距。 iii) 开发了一种无监督的训练策略减少对配对数据的依赖。我们建议使用双闭环协作对抗约束程序对增强模块进行训练以无监督的方式学习。还提出了更多相关的损失函数进一步减少解决方案空间。受益于这些策略我们恢复了更真实的色调和更好的对比度见图1。总体而言我们的贡献如下 • 我们是第一个在低光图像增强中利用神经表示的可控拟合能力。它标准化了亮度退化并消除了自然噪声而无需任何额外操作为未来的工作提供了新的思路。
• 我们首次将多模态学习引入低光图像增强。借助其高效的视觉-语言先验知识我们的方法学习了多样的特征导致了感知上更好的结果。
• 我们开发了一种无监督的协作对抗学习策略减少了对配对训练数据的依赖。其中基于外观的判别确保了从颜色和细节层面的真实性提高了恢复结果的质量。
• 我们在代表性基准数据集上进行了大量实验展示了我们的NeRCo相对于一系列最先进算法的优越性。特别是它甚至超越了一些监督方法。
2. Related Work 2.1. Low-light Image Enhancement
为了提高低光图像的可见性首先广泛采用了基于模型的方法。Retinex理论[40]将观察结果分解为照明和反射即清晰的预测但往往会使外观过度曝光。各种手工先验被进一步引入模型作为正则化项。Fu等人[10]开发了一个加权变分模型来同时估计反射和照明层。Cai等人[2]提出了一个保边平滑算法来建模亮度。Guo等人[12]通过采用相对总变分[45]来预测照明。然而这些定义的先验知识需要大量人工工作并且在面向现实场景的泛化性能方面表现不佳。
由于这些限制研究人员利用深度学习以数据驱动的方式进行恢复[47, 24, 3, 11, 22, 51, 46, 44]从大量数据中自动获取先验知识。例如Guo等人[11]将光增强定式为利用轻量级深度模型进行图像特定曲线估计的任务。Jiang等人[16]引入了对抗训练来学习来自不配对监督的知识。Wei等人[43]设计了一个端到端可训练的RetinexNet但仍然受到严重噪声的困扰。为了缓解这种问题Zhang等人[49]调整了模型结构并开发了去噪训练损失。Zhang等人[48]提出了一种分解型架构来对反射施加约束。Liu等人[22]采用了架构搜索并构建了一个展开网络。尽管这些精心设计的模型实现了令人印象深刻的有效性但在现实世界的应用中并不稳定。为了提高稳健性在增强过程之前我们使用神经表示将退化预调至统一水平。
2.2. Neural Representation for Images
最近神经表示法已被广泛应用于描述图像。Chen等人[5]首次利用隐式图像表示进行连续图像超分辨率。然而多层感知器MLP倾向于扭曲高频分量。为解决这个问题Lee等人[20]开发了一个主导频率估计器用于预测自然图像的局部纹理。Lee等人[19]进一步利用隐式神经表示将图像扭曲成连续形状。Dupont等人[8]尝试通过操纵隐藏层的潜在编码来用一个MLP生成不同的对象。Saragadam等人[37]采用多个MLP以多尺度方式表示单个图像。Sun等人[38]基于捕获的层析特征预测连续信息。Tancik等人[39]引入元学习来初始化MLP的参数以加速训练。 Reed等人[35]采用神经表示和参数化运动场来预测器官的形状和位置。此外一些研究人员采用神经表示来压缩视频[1, 4, 50]。然而现有的神经表示主要应用于图像压缩、去噪和描述连续信息等领域。我们是第一个将其可控拟合能力应用于低光图像增强的研究者。 2.3. Multi-modal Learning 近年来跨视觉和语言模态的学习引起了广泛关注。出现了各种视觉-语言模型。Radford等人[32]提出了从语言监督中学习视觉模型的方法称为CLIP。在训练了4亿张图文配对数据后它可以用自然语言描述任何视觉概念并且无需特定训练即可迁移到其他任务。此外Zhou等人[52]开发了软提示来取代手工设计的提示使用可学习的向量来建模上下文词汇并获得与任务相关的语境。为了进一步将提示细化到实例级别Rao等人[34]设计了上下文感知提示将提示与视觉特征相结合。Cho等人[6]通过将统一框架更新为七个多模态任务的共同目标来在不同任务之间共享先验知识。Ju等人[17]采用了预训练的CLIP模型进行视频理解。
现有的方法主要集中在高级计算机视觉任务上如图像分类。我们首次将预先训练的视觉语言模型的先验应用于微光图像增强开发了面向语义的引导并实现了更好的性能.
3. Our Method 3.1. Framework Architecture 作者先将待增强的暗光图及其对应的空间坐标用全连接层进行编码并输出一张图片鼓励输出结果尽可能地与输入的暗光图相似。 然后利用增强模块(ResNet)将其恢复成亮光结果。在此过程中还引入注意力模块以针对性地增强不同暗光区域。增强后的结果会喂给TAD鉴别其真伪。作者鼓励非成对的亮光自然图像被TAD鉴别为真鼓励恢复的亮光结果为伪以此训练增强模块。 文本驱动的外观鉴别器 该鉴别器由3条支路构成。输入的亮光图像(增强结果or数据集)会分别从颜色维度高频分量和语义空间三个角度被监督 中间的紫色支路是一个普通鉴别器判断输入图像在像素级别上与真实亮光图之间的差异。下方支路是由Sobel算子和鉴别器组成的高频分量鉴别器。Sobel算子先提取图像的高频分量再由鉴别器判断其与真实图片的分布差异。 上方是作者引入的CLIP先验指导的文本监督通过对其图像特征和文本特征引导模型向与文本更匹配的方向优化。实验证明引入文本监督后的模型其增强结果更符合文本语义特征的分布甚至比Ground Truth更符合
