内涵吧网站,广东网络营销服务,做网站虚拟主机价格,个人网页免费域名注册入口2010 年 12 月#xff0c;清华大学电子工程系教授苏光大接到一通不寻常的电话#xff0c;内蒙古自治区准格尔刑警队的警员拿着一张模糊不清的犯罪嫌疑人人脸图像#xff0c;向苏光大寻求帮助。
「这张图像是由路边的监控摄像头拍摄的#xff0c;像素非常低#xff0c;肉眼…2010 年 12 月清华大学电子工程系教授苏光大接到一通不寻常的电话内蒙古自治区准格尔刑警队的警员拿着一张模糊不清的犯罪嫌疑人人脸图像向苏光大寻求帮助。
「这张图像是由路边的监控摄像头拍摄的像素非常低肉眼完全无法辨认。」苏光大回忆道当时他利用超分辨率技术将这张模糊的图像放入他们研发的软件中进行了重建准格尔警方依据重建后的高清晰度图像很快便锁定了嫌疑人并破获了这起凶杀案。 事实上该案件并非个例。警方在侦破案件时通过监控摄像头可以得到犯罪嫌疑人相关图像加快破案速度。然而监控摄像头拍摄的照片放大后常常出现细节模糊的问题这大大降低了警方获取关键证据的效率。
随着超分辨率技术的发展这些问题迎来了转机并逐渐被解决。
本文将从概念入手介绍超分辨率的主流算法及其优缺点并展示了其在公共安防、医学诊断、卫星遥感、数字娱乐等不同场景下的应用。此外HyperAI超神经官网已经上线了大批超分辨率相关的公共教程与公开数据集欢迎上手体验
什么是超分辨率
超分辨率 (Super-Resolution, SR)简单来说就是将低分辨率 (low resolution, LR) 的图像通过算法提升到高分辨率 (high resolution, HR)。 相较于低分辨率图像高分辨率图像拥有更大的像素密度和更丰富的纹理细节具备更高的可信赖度。 图源SUPIR 官网
这种技术可以克服或补偿由于图像采集系统或采集环境本身的限制而导致的成像模糊、图像质量低下等问题在特征提取、信息识别等图像的后续处理上提供了重要支持。
超分辨率算法分类
目前超分辨率方法主要分为三类基于插值的方法、基于重构的方法和基于学习的方法。
基于插值的方法
插值法通过在图像原有的像素周围插入新像素来加大图像的尺寸并给这些像素赋值从而恢复图像内容达到提高图像分辨率的效果。
像素组成图像的最基本单元要素即点每个像素点都有自己的颜色值单位面积上像素点越多图片越清晰。
基于重构的方法
基于重构的超分辨算法通常是用多幅在同一场景下拍摄的低分辨率图像作为输入然后对这些图像的频域或空域关系进行分析通过引入先验信息对重建过程进行指导和约束进而重建得到单张高分辨率图像。
频域是指信号在频率域上的特征。空域是指信号在空间上的分布情况。先验信息这种信息是在「试验之前」就已有的一般可理解为领域知识。
基于学习的方法
基于学习的超分辨率方法通常是利用大量的训练数据通过学习低分辨率图像和高分辨率图像之间的映射关系预测低分辨图像中丢失的高频细节信息从而生成超分辨图像。
基于浅层学习的方法主要包括机器学习、流形学习、样本学习和稀疏编码等可用于数据量较小的情况。
基于深度学习的方法可以分为基于卷积神经网络的 SR 方法、基于残差网络 (residual network, ResNet) 的 SR 方法和基于生成对抗网络 (generative adversarial networks, GAN) 的 SR 方法。 基于深度学习的超分辨率重建算法网络结构
图源法信网
上述三种方法的优缺点如下 来源HyperAI超神经
现如今深度学习已经成为超分辨率领域的主流方法。
2014 年Dong 等人首次将深度学习应用于图像超分辨率重建领域提出了 SRCNN (Super-Resolution Convolutional Neural Network) 网络模型 该成果以「Image Super-Resolution Using Deep Convolutional Networks」为题发表于 arXiv 上。自此超分辨率重建领域掀起了深度学习的浪潮。
论文地址
https://arxiv.org/pdf/1501.00092 SRCNN 网络结构
SRCNN 作为最早将深度学习方法应用于图像超分辨率的模型仅仅使用了 3 个卷积层便取得了远超传统方法的 PSNR 值。
具体而言输入低分辨率图像用双三次插值法 (Bicubic interpolation) 将图像放大至目标尺寸然后用 3 层卷积神经网络拟合低分辨率图像跟高分辨率图像之间的非线性映射最后输出重建后的高分辨率图像。
*PSNR 值峰值信噪比该数值越大输出的 HR 图像质量越好。
SRCNN 凭借其简单、高效的优势成为了图像超分辨率领域的重要里程碑。 自此之后从早期基于卷积神经网络 (CNN) 的超分辨率技术到近期的基于生成对抗网络的技术基于深度学习的超分辨率技术得到了快速发展。
深度学习超分辨率从公共安防到数字娱乐的多元应用
需求推动技术发展技术迭代助力应用落地。现如今超分辨率技术在公共安防、医学诊断、卫星遥感和娱乐媒体等领域都得到了广泛的应用。
公共安防领域
公共监控录像受天气和距离等因素影响画面常模糊且分辨率低。应用超分辨率技术可以帮助警察提取清晰的人脸、车牌号等关键信息有助于案件侦破。
吉林警察学院的封顺利用 ESRGAN 和 BSRGAN 网络针对不同环境下的人像和自然景物进行了分析探索了超分辨率技术在公安和法庭中的应用可行性。
该成果以「图像超分辨率重建技术在警务工作中的应用」为题发表在《武警学院学报》中。
论文地址
https://www.faxin.cn/lib/Flwx/FlqkContent.aspx?gidF805122libid040106
首先研究人员对 ESRGAN 和 BSRGAN 模型进行复现、训练和测试得到最佳模型参数。然后使用训练好的模型对采集的人像、自然景物等低质量图像进行超分辨率重建得到 ESRGAN 和 BSRGAN 的重建结果。 人像低质量图像重建比对
研究人员将 ESRGAN 和 BSRGAN 的重建图像与原始图像进行对比。结果表明在正面、具有倾斜角度和复杂场景中重建后的人像在视觉质量和保真度上都有很大提升。 自然场景低质量图像重建对比
在自然场景的对比中BSRGAN 重建效果要优于 ESRGAN 能够有效去掉原始低质量图像未知的复杂噪声可以生成清晰的边缘和精细的细节。
医学诊断领域
由于成像设备限制和复杂的临床环境医学领域所获取的影像常常存在分辨率不足的问题这直接影响了医生对疾病的准确诊断与治疗决策。 改进 SRGAN 的结构
四川人民医院彭博等人以针对自然图像超分辨率重建的生成对抗网络 (SRGAN) 作为基本方法 通过减少 2 个输入通道、删除 1 个残差块对该网络的结构进行更改改进网络损失函数新增模糊处理数据集重建出放大 4 倍的边缘清晰、没有伪影的医学超声图像。
该成果以「基于生成对抗网络的超声图像超分辨率重建」为题已发表在 Journal of Terahertz Science and Electronic Information Technology 上。
论文地址
http://www.iaeej.com/xxydzgc/article/abstract/202305015 Case1 重建结果感兴趣区域比较 Case2 重建结果感兴趣区域比较
研究人员将改进的 SRGAN 与其他 3 种算法进行比较。结果表明改进 SRGAN 的重建结果整体平滑纹理边缘更清晰。
卫星遥感领域
近年来遥感卫星图像在环境监测、资源勘探、灾害警报和军事等领域得到了广泛应用。然而大气变化、传输噪声、运动模糊和欠采样光学传感器等因素严重制约了遥感卫星图像的清晰度。超分辨率技术通过处理和提升低分辨率图像可以提高卫星遥感数据的质量和可用性。 基于局部群目标辅助的遥感图像超分辨率重建算法流程
哈尔滨工业大学阎菩提等人将遥感图像局部聚集群目标区域的细节特征信息引入到完整遥感图像的采样重建中通过多层级的神经网络提取不同尺度的图像特征并通过残差学习的方式将这些特征进行融合并重建。 该方法可以借助局部图像的像素信息显著提高全局遥感图像的细节效果优化集群目标区域的分辨能力。
该成果以「结合局部高清图像的遥感集群目标区域超分辨率重建」为题已发表在南京航空航天大学学报上。
论文地址
https://jnuaa.nuaa.edu.cn/njhkht/article/html/202306002 与基线方法的可视化对比
研究展示的对比图显示该方法在可视化效果上显著优于其他现有方法 适用于城市和野外场景表现出较好的效果。
数字娱乐领域
动漫由多张静止的画面连接而成其静止图片分辨率**将会影响最终动漫的清晰度。然而现有的手绘或数字绘制无法保证初稿的高分辨率这对于用户的视觉体验相当不友好。通过应用超分辨率技术将这些低分辨率的画面转换成更高分辨率画面能够呈现出更多的细节和纹理可以使动漫作品的图像更加生动和逼真。
B 站就曾推出了一个名为 Real-CUGAN (Real Cascaded-U-Net-style Generative Adversarial Networks) 的动漫画质修复模型。
首先研究人员利用该模型对动漫帧进行切块处理使用图像质量打分模型对候选块进行打分过滤最终得到一个百万级的高质量动漫图像块训练集。
然后通过多阶段降质算法将高清图像块降采样得到低质图像让模型学习、优化从低质图像到高质图像的重建过程。训练完成后模型即可对真实的二次元低质图像进行高清化处理。
不同算法对比图如下 超分辨率开源数据集和教程
目前HyperAI超神经的官网上线了大量超分辨率资源 包括公开教程与数据集。
公共教程
[1.APISR 动漫图像超分辨率增强器]
APISR 是一个用于提升动漫图像及视频分辨率的开源项目可恢复和增强低质量、低分辨率的动漫图像和视频源处理各种图像退化问题模糊、噪声、压缩伪影等。 在线运行地址 https://hyper.ai/tutorials/31383
2.SUPIR-AI 图像修复教程
SUPIR 可以将低分辨率图像放大到高分辨率同时保持图像的细节和真实感处理各种复杂的退化情况。 在线运行地址 https://hyper.ai/tutorials/30940 3.使用潜在扩散进行图像超分辨率
该教程为大家展示如何使用 diffusers 库来使用潜在扩散图像超分辨率模型。 在线运行地址 https://hyper.ai/tutorials/26207
4.使用高效子像素 CNN 实现图像超分辨率
该教程在 BSDS 500 数据集上使用高效子像素模型实现了超分辨率。 在线运行地址 https://hyper.ai/tutorials/25044 公开数据集 1.MSU 超分辨率数据集
该数据集包含室内和室外视频以及动画所有视频有较低的 SI/TI 值和简单纹理。旨在最大限度减少可能发生的压缩失真恢复细节。 直接使用 https://hyper.ai/datasets/20401 2.MSU 视频超分辨率数据集
该数据集用于视频超分辨率任务包含细节修复任务中最复杂的内容人脸、文本、二维码、车牌号、未显示图案的纹理、小细节。视频包括不同类型的运动以及不同类型的弱化双三次插值 、高斯模糊和下采样。 直接使用 https://hyper.ai/datasets/17212 3.DRealSR 超分辨率图像数据集
该数据集是关于真实图像退化过程的超分辨率图像数据集缓解了传统模拟图像退化的局限性。数据集涵盖室内和室外场景如广告海报、植物、办公室及建筑物等。 直接使用 https://hyper.ai/datasets/20446 4.TextZoom 超分辨率数据集
该数据集由成对的低分辨率LR和高分辨率HR图像组成。这些图像是由不同焦距的相机在野外拍摄。每一个图像对都有区分大小写的字符串包括标点符号的标注、边界框类型和原始焦距。 直接使用 https://hyper.ai/datasets/19550 5.SR-RAW 图像超分辨率数据集
该数据集包含 RAW 传感器数据有用高光学变焦级别拍摄的 ground truth 高分辨率图像。其中每个序列包含 7 个少数包含 6 个由不同焦距拍摄的图像。 直接使用 https://hyper.ai/datasets/19743 6.Set5Set14 低复杂度单图像超分辨率数据集
这是一个基于非负邻域嵌入的低复杂度单图像超分辨率的数据集该训练集被用于单幅图像超分辨率重构根据低分辨率图像重构出高分辨率图像以获取更多的细节信息被广泛应用于计算机视觉与图形学、医学成像、安全监控等领域。 直接使用 https://hyper.ai/datasets/5382 7.DIV2K 单图像超分辨率数据集
该数据集包含 1000 张具有不同退化类型的低分辨率图像可用于通过低分辨率图像重建高分辨率图像。
直接使用 https://hyper.ai/datasets/15624 8.S2-NAIP 美国超分遥感数据集
该数据集包含美国大陆地区的 NAIP 和 Sentinel-2 成对影像。在地表监测、资源管理和环境变化评估等方面提供了高精度的数据支持。 直接使用 https://hyper.ai/datasets/30427 9.Sun-Hays 80 Dataset 超分辨率图像数据集
该数据集利用全局场景描述在图像数据库进行相关场景的比对和查找场景提供了理想的示例纹理以约束图像采样的问题。 直接使用 https://hyper.ai/datasets/5391 10.Urban100 超分辨率重建数据集
该数据集包含了具挑战性的城市景色具有不同频带的细节。对真实图像利用双三次插值进行降尺度可以得到 LR/HR 图像对以得到训练和测试数据集。 直接使用 https://hyper.ai/datasets/5385 以上就是 HyperAI超神经官网上的超分辨率资源汇总如果大家看到优质项目欢迎后台留言推荐给我们另外我们还建立了教程交流群欢迎小伙伴们入群探讨各类技术问题、分享应用效果~ 扫码加入教程交流群 参考资料
1.https://blog.csdn.net/kwdx2/article/details/135967668
2.https://zhuanlan.zhihu.com/p/558813267
3.https://bzhao.me/Super-Resolution/
4.https://journals.nwpu.edu.cn/xbgydxxb/FileUp/HTML/20150622.htm
5.https://cloud.tencent.com/developer/article/2398282
6.https://mp.weixin.qq.com/s/7gL9UR85w46499XVqHBfLQ
