网站建设合同要缴纳印花税吗,wordpress4.5.3漏洞,制作网页时一般把图像转化为哪几种格式?为什么?,社交博客网站开发语义分割前言 一、定义
1、概念 语义分割#xff08;Semantic Segmentation#xff09;是计算机视觉中的一项任务#xff0c;目标是将图像中的每个像素按其语义类别进行分类。与传统的目标检测不同#xff0c;语义分割对图像中的每个像素都进行分类#xff0c;而不是只… 语义分割前言 一、定义
1、概念 语义分割Semantic Segmentation是计算机视觉中的一项任务目标是将图像中的每个像素按其语义类别进行分类。与传统的目标检测不同语义分割对图像中的每个像素都进行分类而不是只关注物体的边界框。 语义分割的目标是给图像中的每个像素分配一个类别标签通常使用颜色编码来可视化不同的类别。例如将图像中的道路像素标记为蓝色建筑物像素标记为红色等。 语义分割在许多计算机视觉任务中起到重要作用如自动驾驶、智能监控、图像编辑等。它可以提供详细的场景理解使计算机能够准确地理解图像中的不同物体和区域并在各种应用中进行更精确的分析和决策。 近年来随着深度学习的快速发展基于深度学习的语义分割方法取得了显著的进展。常用的深度学习模型包括全卷积网络FCN、U-Net、DeepLab等它们能够准确地分割图像并在各种实际场景中取得了优秀的性能。
2、 常见分割任务 语义分割、实例分割、全景分割这些基本概念别再搞混了 语义 VS 实例 VS 全景分割 语义分割(Semantic Segmentation) 语义分割是将图像分割为不同的语义区域即将图像中的每个像素都标记为属于哪个语义类别。换句话说它的目标是为图像中的每个像素分配一个语义标签例如人、车、树、建筑等。语义分割关注的是图像中的每个像素的语义信息不关心具体的实例。
实例分割(Instance Segmentation) 实例分割是将图像中的目标物体分割为独立的实例即为每个目标分配唯一的标识符并进行像素级的分割。与语义分割不同实例分割不仅关注目标的语义类别还关注目标的个体性。因此在实例分割中同一类别的不同目标物体会被分配不同的标识符以区分它们。
全景分割(Panoramic Segmentation) 全景分割是语义分割和实例分割的融合旨在将图像中的每个像素分配一个语义标签并为每个目标物体分配唯一的标识符同时区分不同的实例。全景分割可以视为将图像中的每个像素标记为语义类别和实例标识符的任务。实质上全景分割是一种综合性的图像分割任务旨在提供对图像中所有物体的语义信息和个体信息。
3、建筑物提取(Building Footprint Extraction) 建筑物提取任务BFEBuilding Footprint Extraction是指从高分辨率遥感图像中准确地提取出建筑物的轮廓或边界信息。这是一项具有重要应用价值的任务可以用于城市规划、地理信息系统GIS、自动驾驶、灾害评估等领域。 BFE任务的挑战在于建筑物在图像中呈现出各种形状、大小和复杂性。为了解决这个问题研究者们提出了各种方法和算法。以下是一些常用的BFE方法 基于图像特征的方法这些方法利用图像的颜色、纹理、形状等特征来区分建筑物和非建筑物。例如可以使用边缘检测、纹理分析、形状匹配等技术来提取建筑物的边界。 基于机器学习的方法这些方法使用机器学习算法来学习建筑物和非建筑物的分类器。常用的算法包括支持向量机SVM、随机森林Random Forest和深度学习模型等。这些方法需要大量的标注数据和特征工程。 基于分割的方法这些方法将建筑物提取任务看作是像素级的语义分割任务利用分割模型将每个像素分类为建筑物或非建筑物。深度学习模型如U-Net、Mask R-CNN等常被用于此类方法。 基于无监督学习的方法这些方法通过对图像进行聚类和分割来提取建筑物。常用的技术包括基于颜色、纹理和形状的聚类分析、超像素分割等。 结合多源数据的方法这些方法将多源数据如高分辨率遥感图像、激光雷达数据等结合起来通过融合不同数据源的信息来提高建筑物提取的准确性。 BFE是一个复杂的任务目前仍然存在一些挑战和问题如建筑物遮挡、复杂背景、低对比度等。未来的研究将继续致力于提高建筑物提取的准确性和鲁棒性以满足实际应用的需求。
二、任务数据
1、数据集格式 PASCAL VOC2012数据集介绍 PASCAL VOC数据集提供一个PNG图片(P模式)在图片中记录每个像素所属的类别信息。需要注意的是提供的PNG图片是用调色板的模式进行存储为1通道图片图象呈彩色是因为针对像素0到255提供了一个调色板针对每个像素值都对应一个颜色所以可以将1通道的图片映射到彩色的图片上。
notes: 针对目标的边缘会有特殊的颜色进行分割或者图片特殊区域也会用特殊颜色进行填充。该特殊颜色对应的像素值是255在训练过程中计算损失时会忽略数值为255的地方针对目标边缘的类别划分并不容易包括有些不容易分割的目标也可以进行填充这样就可以忽略在训练模型时候就不会计算这部分损失。 MS COCO数据集介绍以及pycocotools简单使用 MS COCO数据集中提供的是针对图片中每一个目标都给出了多边形的坐标形式将坐标点连起来就对应了目标所在的区域。在使用中需要将多边形坐标信息解码成PNG图片。计算损失时将预测的每个像素对应的类别与真实标签的每一个类别进行对比计算所以在计算损失时希望得到PNG图象的。
2、结果具体形式 单通道图片加上调色板显示彩色。如图背景的像素值为0对应飞机的位置像素值为1对应人的位置像素值等于15。灰度图片显示效果远不如调色板显彩效果。每个像素的数值对应了每个类别的索引。
三、评价指标与标注
1、评价指标
Pixel Accuracy(Global Acc) 在预测标签图像中所有预测正确的像素个数的总和除以这幅图片的总像素个数。
mean Accuracy 每个类别的Accuracy计算出来再进行求和取平均操作。
mean IoU 计算每个类别的IoU然后每个类别求平均操作。目标IoU交并比计算是将两个目标的交集面积比上两个目标的并集面积公式的含义则是该类别的正确预测像素个数比上真实标签与预测像素的并集面积并集计算过程为真实标签面积加上错误预测面积减去正确预测面积。
notes
类别被预测成类别的像素个数如为类别被预测成类别的像素个数即正确像素个数目标类别个数(包含背景)目标类别的总像素个数(真实标签) 构建混淆矩阵进行计算 表示类别被预测为的像素个数即矩阵正对角线上对应的是被正确预测类别的像素数量表示类别被预测为的像素个数如为类别0被预测为类别1的像素个数 2、标注工具
Labelme Labelme分割标注软件使用 EISeg EISeg分割标注软件使用 ArcGis 深度学习/语义分割入门笔记一——遥感影像数据集及标签制作arcgis批量矢量转栅格 语义分割—遥感影像数据标签制作ARCGIS
