阿里巴巴网站优化,开一个软件开发公司需要多少钱,提供给他人做视频解析的网站源码,宿州建设企业网站公司Unet
UNet最早发表在2015的MICCAI上#xff0c;到2020年中旬的引用量已经超过了9700多次#xff0c;估计现在都过万了#xff0c;从这方面看足以见得其影响力。当然#xff0c;UNet这个基本的网络结构有太多的改进型#xff0c;应用范围已经远远超出了医学图像的范畴。我…
Unet
UNet最早发表在2015的MICCAI上到2020年中旬的引用量已经超过了9700多次估计现在都过万了从这方面看足以见得其影响力。当然UNet这个基本的网络结构有太多的改进型应用范围已经远远超出了医学图像的范畴。我们先从最原始的UNet网络模型开始讲解。
1、UNet网络结构 开始时UNet主要应用在医学图像的分割并且快速成为大多做医学图像语义分割任务的baseline而后其他领域的学者和专家也受其启发进行了魔改。当然也有些同学会说这个算法中的一些思想很多人在以前也有提出比如下采样或是多尺度的思想但是有一个问题在众多思路中寻找合理的方法进行组合与重构以达到更有效的结果也是一种巨大的创新和进步。 我们首先看一下UNet的网络结构具体如下图所示 U-net网络结构(上图中以32x32像素的最低分辨率)中每个蓝框对应一个多通道特征图。 通道的数量在框的顶部表示。 x-y尺寸在框的左下边缘提供。 白框表示复制和裁剪Concat的特征图。 箭头表示不同的操作。因为此网络整体结构类似于大写的英文字母U故得名U-Net。 上图已经把UNet的网络结构和思想展现的淋漓尽致了。U-Net网络非常简单前半部分左边下采样作用是特征提取后半部分右边是上采样过程这是非常典型的Encoder-Decoder结构。在原论文中下采样过程称为contracting path它是在通过卷积等操作获取上下文的特征信息上采样部分被称为expanding path实际上是在进行目标对象的定位两部分是对称存在的同时每层对应对称结构使用copy and crop完成skip-connection操作。
2、UNet网络结构高性能的原因分析 2.1 多尺度获得信息 在encoder操作中采用了5个池化层在实际应用中也有采用4个池化层的操作在不断的下采样过程中不断的降低分辨率以获得不同尺度的图像信息图像的信息由底层信息中的点、线、梯度等信息逐渐向高程信息中的轮廓以及更抽象的信息过度整个网路完成了“由细到粗”特征的提取与组合使UNet得到的信息更加全面。 2.2 神来之笔skip connention 做过数字图像处理的同学们应该很清楚一点图像从低分辨率转高分辨率图像会失真decoder部分而高分辨率转低分辨率则失真相对可忽略也保留了更多的细节信息encoder部分因此在decoder中上采样过程中就失去了对细节信息的敏感。这个时候skip connection就成为真正的神来之笔此操作将同层高度的encoder更精准的梯度、点、线等信息直接Concat到同层的decoder中相当于在判断目标大体区域内添加细节信息这种操作当然可以使UNet获得更准确的分割结果。
Res-Unet
1、Res-UNet要解决的问题 作者在文章的简介中就提到了视网膜血管分割任务的主要难点和挑战这也是Res-UNet重点解决的问题具体如下所示直接翻译 小血管缺失位于血管末端的小血管有时甚至人眼也难以分辨 视盘区分割结果不理想通常视盘区域较亮对比度相对较低这增加了视网膜血管分割的难度 血管拓扑结构难以维系视网膜血管有类似树状的分叉结构但当血管太薄而无法检测到时这样的连续的血管结构就很难保持连接发生断裂 光照因素光照不足或过度曝光包括相机光源引起的光反射会降低图像对比度从而导致视网膜血管边界不清晰。 综上所述由于视网膜血管本身成像的限制与成像过程中光源等干扰都会使视网膜血管的对比度降低进而造成血管信息丢失或是直接影响血管的拓扑结构。
2、Res-UNet主要网络结构 从本质上说Res-UNet并不是一个特别难懂的甚至不是特别难以想到的网络结构。在18年之前已经提出了其中经典的Resnet和Attention思想作者是将这三者做了有机结合。此方法的流程主要所示 详细的网络结构如下图所示 2.1 Attention部分 Attention部分其实操作也相对简单主要是通过提取具有圆形感兴趣区域(ROI)和深色背景。然后使用圆形模板ROI mask M作为加权注意如图2所示黄色箭头。利用这种加权注意机制使模型只关注目标ROI区域而忽略了不相关的噪声背景。这个操作实质上就是注意机制是通过将模型的最后一层的特征图与注意掩模相乘来实现的。ROI mask实际上是将图像进行二值化的过程。
2.2 skip连接部分 根据Resnet的思想将skip连接添加到网络中见图2的灰色实线部分此操作增加了网络的深度根据Resnet中的解释还可以防止过拟合提高模型的准确度。
3、引发的思考 3.1 网络结构的思考 Attention部分祛除了ROI区域以外的噪声影响但是使用CLAHE增强后并没有去除ROI内部的噪声干扰。但是从文章结果来分析似乎并没有造成较大的影响。 skip连接部分充分说明了Resnet的强大当然网上有太多的解释和分析 本人不在此处细讲。
3.2 CLAHE增强与patch操作 CLAHE增强操作必然会增加图像的噪声当然作者应该进行了滤波操作以保障二值化ROI的准确性也保证网络输入部分图像信号的质量。但是有一个问题值得我们思考增加噪声就一定会使网络性能变差吗就算是进行滤波或是其他降噪操作CLAHE增强带来的噪声是不会完全消失的。噪声是不是还会使网络性能产生较好的性能我在这一刻想到了反向传播想到了梯度和激活函数这是个有趣的点。 原文中的patch操作是无重叠的最后再拼在一起。实际上无重叠会造成信息的丢失尤其是上下文信息的丢失这在一定程度上会影响血管拓扑结构这也是一个需要关注的地方。 Attention Unet
1、Attention Unet主要目标 作者在摘要与简介中很清楚的表明了要解决的问题以及要达到的目标。具体如下所示 抑制输入图像中的不相关区域同时突出特定局部区域的显著特征 用soft-attention 代替hard-attention的思路注意sorf-attention可微可以微分的attention就可以通过神经网络算出梯度并且前向传播和后向反馈来学习得到attention的权重 集成到标准UNet网络结构中时要简单方便、计算开销小最重要的是提高模型的灵敏度和预测的精度 Unet 先是提到FCN和UNet已经被广泛应用在医学图像分割中了并总结了两个限制
最佳的深度是在先验上未知的需要广泛的架构搜索或不同深度模型的低效率集成来测试跳接施加了不必要的限制性融合方案仅在编码器和解码器子网的相同比例的特征图上强制融合。 为了缓解这两个问题作者提出了unet可以用于语义分割和实例分割主要基于三个方面
通过不同深度的U-Net的有效集成来缓解未知的网络深度这些U-Net可以部分共享一个编码器并且可以通过深度监督deep supervision同时进行共同学习重新设计跳接以在解码器子网络上聚合语义尺度不同的特征从而产生高度灵活的特征融合方案设计一种剪枝方案以加快UNet的推理速度。 作者使用六个不同的医学图像分割数据集对UNet 进行了评估涵盖了多种成像方式例如计算机断层扫描CT、磁共振成像MRI和电子显微镜EM并证明了
UNet始终优于基线模型用于跨不同数据集和骨干架构进行语义分割的任务UNet增强了各种尺寸对象的分割质量这是对固定深度UNet的改进Mask RCNN具有UNet设计的Mask R-CNN在执行实例分割任务方面优于原始Mask R-CNN剪枝过的UNet模型可实现显着的加速同时仅显示出适度的性能下降。 UNet由不同深度的U-Net组成其解码器通过重新设计的跳接以相同的分辨率密集连接。 UNet中引入的体系结构更改具有以下优点。首先UNet不易明确地选择网络深度因为它在其体系结构中嵌入了不同深度的U-Net。所有这些U-Net都部分共享一个编码器而它们的解码器则交织在一起。通过在深度监督下训练UNet可以同时训练所有组成的U-Net同时受益于共享的图像表示。这种设计不仅可以提高整体分割性能而且可以在推理期间修剪模型。其次UNet不会受到不必要的限制性跳接的限制在这种情况下只能融合来自编码器和解码器的相同比例的特征图。UNet中引入的经过重新设计的跳接在解码器节点处提供了不同比例的特征图从而使聚合层可以决定如何将跳接中携带的各种特征图与解码器特征图融合在一起。通过以相同的分辨率密集连接组成部分U-Net的解码器可以在UNet中实现重新设计的跳接。作者在六个分割数据集和不同深度的多个主干中对UNet进行了广泛地评估。 五个贡献
在UNet中引入了一个内置的深度可变的U-Net集合可为不同大小的对象提供改进的分割性能这是对固定深度U-Net的改进。重新设计了UNet中的跳接从而在解码器中实现了灵活的特征融合这是对U-Net中仅需要融合相同比例特征图的限制性跳接的一种改进。设计了一种方案来剪枝经过训练的UNet在保持其性能的同时加快其推理速度。同时训练嵌入在UNet体系结构中的多深度U-Net可以激发组成U-Net之间的协作学习与单独训练具有相同体系结构的隔离U-Net相比可以带来更好的性能。展示了UNet对多个主干编码器的可扩展性并进一步将其应用于包括CT、MRI和电子显微镜在内的各种医学成像模式。
