成品网站seo,网页制作基础教程,江门住房城乡建设厅网站,哪家做网站文章目录1 语义分割1.1 介绍1.2 语义分割应用1.3 实例分割2 转置卷积2.1 工作原理2.2 为什么叫“转置”卷积2.3 转置卷积也是一种卷积3 FCN3.1 核心思想3.2 网络架构4 样式迁移4.1 基于 CNN 的样式迁移4.2 工作流程1 语义分割
1.1 介绍
语义分割#xff08;Semantic Segment…
文章目录1 语义分割1.1 介绍1.2 语义分割应用1.3 实例分割2 转置卷积2.1 工作原理2.2 为什么叫“转置”卷积2.3 转置卷积也是一种卷积3 FCN3.1 核心思想3.2 网络架构4 样式迁移4.1 基于 CNN 的样式迁移4.2 工作流程1 语义分割
1.1 介绍
语义分割Semantic Segmentation 是一种像素级别的分类任务。它的目标是为图像中的每一个像素分配一个类别标签。
与普通图像分割的区别 普通分割如聚类只将相似的像素区域划分为同一组但可能不知道这些区域代表什么物体。语义分割不仅进行区域划分还会为每个像素分配一个有意义的语义标签如“狗”、“猫”、“路面”或“背景”。 与图片分类和目标检测的区别
特性图片分类目标检测语义分割任务级别图像级别物体级别像素级别输出一个类别标签多个边界框 类别标签每个像素的类别标签精度粗略相对精细边界框非常精细像素级示例图像中有只狗 → “狗”图像中有两只狗 → 两个边界框均标记为“狗”图像中有两只狗 → 标记出所有属于狗的像素并将其标记为“狗”1.2 语义分割应用
由于其像素级的精细度语义分割在现实中有许多重要应用
图像背景处理 视频会议通过识别出“人”和“背景”可以轻松实现背景虚化或背景替换而不需要绿幕。手机人像模式通过识别出“人”并将其与背景分离实现更自然的背景虚化效果。 自动驾驶 路面分割这是自动驾驶最关键的应用之一。系统需要实时识别出哪些像素是“路面”哪些是“人行道”、“树木”或“建筑物”以便安全行驶。 医学影像分析 识别和分割出病灶区域。
1.3 实例分割
实例分割Instance Segmentation 是一个比语义分割更进一步的任务。它不仅要识别每个像素的类别还要区分同一类别下的不同实例。
与语义分割的区别 语义分割如果图像中有两只狗它会把所有属于狗的像素都标记为同一个“狗”类别。它不区分这是“狗一”还是“狗二”。实例分割它会把第一只狗的所有像素标记为“狗1”把第二只狗的所有像素标记为“狗2”。它能区分出每一个独立的“实例”。 关系实例分割可以看作是目标检测的精细化版本它不仅通过边界框框出物体还提供了每个物体的精确像素级轮廓。 2 转置卷积
传统的卷积操作通常会减小特征图feature map的高和宽。虽然可以通过填充padding来保持高宽不变但很难有效增大特征图的尺寸。
然而语义分割的任务要求我们对图像中的每一个像素进行分类。如果我们的模型不断通过卷积来减小图像尺寸最终的特征图例如 7x7将无法对应到原始图像中的每一个像素。
因此我们需要一种能够增大特征图高和宽的卷积操作这就是转置卷积。
2.1 工作原理
转置卷积也称为反卷积或部分反向卷积与常规卷积的工作方式非常相似但它是“反向”的。
常规卷积一个大输入区域例如 2x2与一个卷积核做点积生成一个小输出像素。转置卷积一个小输入像素与卷积核做元素级乘法生成一个大的输出区域与卷积核大小相同。然后将所有输入像素生成的输出区域叠加相加得到最终的输出特征图。
步骤
输入和卷积核假设有一个 2x2 的输入和一个 2x2 的卷积核。逐像素处理遍历输入的每一个像素并与卷积核进行元素级乘法。写入输出矩阵将相乘后的结果按照与输入像素对应的位置写入到输出矩阵中。叠加将所有输入像素生成的结果矩阵叠加相加得到最终的输出。
通过这种操作一个较小的输入特征图例如 2x2可以生成一个较大的输出特征图例如 3x3 或 4x4从而实现了高和宽的增大。 填充Padding转置卷积的填充是在输出上进行的这与常规卷积的输入填充不同。步幅Stride转置卷积的步幅决定了输入像素在输出上移动的距离从而成倍地增大输出特征图的尺寸。例如步幅为 2 会使输出高宽加倍。
2.2 为什么叫“转置”卷积
从数学角度看常规卷积可以被表示为一个矩阵乘法。
常规卷积 可以将卷积核 W 构造为一个矩阵 V。将输入 X 和输出 Y 展开成向量 X′ 和 Y′。卷积操作等价于矩阵乘法Y′V×X′。 转置卷积 转置卷积则等价于使用矩阵 V 的转置进行乘法Y′VT×X′。
因此一个常规卷积如果能将输入从 (H, W) 变为 (H’, W’)那么使用相同超参数的转置卷积就可以将输入从 (H’, W’) 变回 (H, W)。这就是“转置卷积”名称的由来因为它在矩阵乘法层面是常规卷积的转置。 2.3 转置卷积也是一种卷积
转置卷积本质上是一种特殊的卷积操作。它的特殊之处在于它通过对输入和卷积核进行巧妙的变换来实现上采样增大高宽的目的。
常规卷积通常用于下采样即减小高和宽。转置卷积通常用于上采样即增大高和宽。
在相同超参数如卷积核大小、步幅和填充的情况下转置卷积在形状上是常规卷积的逆变换。如果一个常规卷积将输入从 (H, W) 变为 (H’, W’)那么使用相同超参数的转置卷积就可以将输入从 (H’, W’) 变回 (H, W)。 我们可以将转置卷积的计算过程等价地转换为一个常规卷积的计算。为了将转置卷积等价于一个常规卷积需要对输入和卷积核进行特定的预处理
处理输入在输入的行和列之间插入 S−1 行或列的零其中 S 为转置卷积的步幅。处理输入填充在输入的上下左右填充 K−P−1 行或列的零其中 K 为卷积核大小P 为转置卷积的填充。处理卷积核将卷积核矩阵进行上下左右翻转。
完成上述转换后再对预处理后的输入和卷积核进行常规卷积计算填充为 0步幅为 1得到的输出将与原始转置卷积的输出完全一致。 形状的数学关系
假设
常规卷积输入高或宽为 N卷积核大小 K填充 P步幅 S输出高或宽为 N′。转置卷积输入高或宽为 N′卷积核大小 K填充 P步幅 S输出高或宽为 N。
它们之间的数学关系如下
常规卷积N′⌊SN−K2P⌋1转置卷积NS×(N′−1)K−2P
如果常规卷积的计算结果能够被整除即 SN−K2P 为整数那么这两个公式互为逆运算再次证明了它们在形状上的逆变换关系。 3 FCN
FCN (Fully Convolutional Network) 是用深度学习解决语义分割问题的奠基性工作。虽然现在有更复杂的模型但 FCN 的核心思想仍然是理解现代语义分割模型的基础。
3.1 核心思想
FCN 的核心思想非常简单但极具开创性用转置卷积层替换传统 CNN 末尾的全连接层从而实现对每个像素的预测。
传统 CNN 的局限性
传统的 CNN如用于图像分类的 AlexNet 或 ResNet通常以全连接层结束。在进入全连接层之前会使用全局平均池化层将特征图压缩成一个 1x1 的向量。这种设计虽然适合图像分类因为只需一个标签但会丢失重要的空间信息无法进行像素级别的预测。
FCN 的解决方案
FCN 去掉了传统 CNN 架构中最后的全连接层和全局池化层。它的整个网络都由卷积层组成因此得名“全卷积”。它通过在网络末尾添加转置卷积层将经过多层下采样减小尺寸的特征图还原到与原始输入图像相同的尺寸。
3.2 网络架构
一个典型的 FCN 模型包含以下几个关键部分
基础 CNN 网络 使用一个预训练的 CNN 模型作为基础例如在 ImageNet 上训练好的 ResNet。这个部分用于提取图像的深层特征。FCN 会去掉这个基础网络最后的全连接层和全局池化层。 1x1 卷积层 紧接着 CNN 输出的特征图添加一个 1x1 的卷积层。作用主要用于降低通道数从而减少后续转置卷积层的计算量。它不会改变特征图的高和宽。 转置卷积层 这是 FCN 最关键的部分。作用通过转置卷积将小尺寸的特征图放大到与原始输入图像相同的尺寸。通道数转置卷积层的输出通道数等于我们想要预测的类别数K。输出最终输出一个 H x W x K 的张量其中 H 和 W 是原始图像的高和宽K 是类别数。对于每一个像素点通道上的值代表了它属于各个类别的预测分数。 4 样式迁移
样式迁移是一种将一张图像的内容与另一张图像的样式相结合的技术从而生成一张新的合成图像。
内容图像Content Image提供图像中的主体内容、物体和布局。样式图像Style Image提供图像的风格、纹理、色彩和笔触。合成图像Synthesized Image结合了两者的图像既保留了内容图像的结构又呈现出样式图像的风格。
简而言之样式迁移可以看作是一种高级的、可自定义的“滤镜”它比传统的固定滤镜更具灵活性。 4.1 基于 CNN 的样式迁移
这是样式迁移领域的奠基性工作。该方法的核心思想是利用卷积神经网络CNN 的不同层级来分别提取图像的内容特征和样式特征。
该模型的目标是训练一张合成图像而不是训练网络权重。训练的目标是让这张合成图像在两个方面与原始图像相似
内容相似合成图像在内容上要与内容图像非常接近。样式相似合成图像在样式上要与样式图像非常接近。
为了实现这两个目标模型需要定义两个关键的损失函数内容损失和样式损失。
4.2 工作流程 输入 内容图像你想要保留内容的图像。样式图像你想要应用的风格图像。合成图像一张待优化的图像通常从随机噪声或内容图像初始化。 CNN 特征提取 将三张图像内容图像、样式图像、合成图像分别输入同一个预训练好的 CNN 模型中例如 VGG 或 ResNet。CNN 的每一层都会输出一个特征图这些特征图代表了图像在不同抽象层次上的特征。 损失函数 内容损失在 CNN 的高层更具语义信息上计算合成图像的特征图与内容图像的特征图之间的差异。目标是让这个差异最小化以确保合成图像保留原始内容。样式损失在 CNN 的低层和中层更具纹理和色彩信息上计算合成图像的特征图与样式图像的特征图之间的差异。这个差异通常通过计算特征图的协方差矩阵也称为 Gram 矩阵来衡量因为它能捕捉不同通道之间的相关性从而代表样式信息。 训练 模型通过反向传播来优化合成图像的像素值而不是优化网络权重。训练过程不断调整合成图像以同时最小化内容损失和样式损失。
