苏州网站建设中心,服务器网站维护,个人网页注册,校园网站建设管理及责任表目录 前言 国内外研究现状 细节差异分析相关研究 三维点云的相似性相关研究 存在的问题 三维点云对比的相关技术 2.1 三维点云的采集设备 2.2三维点云的存储格式 2.3三维点云的空间变换 2.4三维点云相似度分析 2.4.1点云特征的提取 2.4.2特征相似度计算 本文篇幅较长#xff0… 目录 前言 国内外研究现状 细节差异分析相关研究 三维点云的相似性相关研究 存在的问题 三维点云对比的相关技术 2.1 三维点云的采集设备 2.2三维点云的存储格式 2.3三维点云的空间变换 2.4三维点云相似度分析 2.4.1点云特征的提取 2.4.2特征相似度计算 本文篇幅较长分为上中下三篇文章索引详见 从全局到局部的三维点云细节差异分析 从全局到局部的三维点云细节差异分析中 从全局到局部的三维点云细节差异分析下 前言 工业自动化生产是国民经济中制造业的重要组成部分我国是制造业大国随着 全球化的发展与制造技术的不断提升工业制造自动化成为未来的趋势。近年来工 业流水线制造替代了传统手工制造自动拼装、三维打印等现代制造技术不断普及 大大提高了生产制造效率。而在自动化带来效率提升的同时质量检测成为一个亟待 解决的问题。在质量检测中瑕疵检测往往通过复杂的成像技术和检测技术来进行检 测这种流程往往计算开销大且针对不同的工业生产线需要定制不同的方案。 随着计算机技术的普及与发展计算机视觉技术的研究越来越广泛。通过电子摄 像头获取到的数字图像经过分析后应用在图像识别、瑕疵检测、细节验证等方面。近 年来三维图形颇受重视三维模型的数据也急剧增长。三维模型一般由三维图形扫 描设备扫描或三维建模软件绘制得到具有丰富的立体表现和三维场景信息相比于 二维图像具有更丰富的视觉感知成为了继数字图像、语音、视频之后又一新兴数字 多媒体媒介并在医疗、化学、生物、计算机、建筑工程等领域广泛应用。在工业生 产中设计者使用图形设计软件进行三维物体的原型设计为工业化生产和三维打印 提供基础原型也可以利用三维扫描仪通过色彩相机与红外相机或雷达传感器结合 将真实场景中的物体以三维图形的形式存储成数字格式。在后续的流水线作业中 为了检验生产的产品是否符合标准需要复杂的检测流程进行产品的质量检测。现有 的三维物体表面质量检测算法体系往往针对每一种应用场景都有特定的算法流程 没有能够应对任意物体的普适性算法。因此可以将物体的表面质量检测问题转换为 三维刚性物体的细节差异分析问题并基于三维点云特征提取的方式设计算法。 传统的三维物体差异对比问题一般通过计算物体相似度来解决。然而大多 数研究三维物体识别或检索的方法中相似度的计算只注重两个物体间的整体相似度 忽略了局部细节差异。而描述三维物体局部细节的局部特征则是通过局部邻接关 系、表面曲率刻画三维物体的细节信息。现有的三维物体的局部特征计算往往复杂度 较高且主要是针对遮挡和物体不完整等问题设计的各种抗遮挡的算法这些特性在 对比两个完整物体并进行细节差异检测时并不重要。而且有的算法的适用对象是非 刚性物体不能直接应用于刚性物体的细节差异分析。同时现有特征提取工作大多针 对于三维物体的三角网格结构直接应用于点云数据的较少。相比于三角网格结构 点云数据更容易获取且网格结构可以快速便捷地转换为点云结构。因此一种专门 针对刚性三维物体且只依赖于基本的点云数据的细节差异分析通用算法亟待被提出。 国内外研究现状 本文主要对细节差异对比任务进行研究并从三维点云的全局整体形状到局部 细节实现差异分析。由于细节差异分析结果主要通过相似性分析展现因此在本节 中主要介绍了细节差异分析的相关研究和三维点云的相似性分析相关研究。 细节差异分析相关研究 细节差异分析主要应用于质量检测和伪造鉴别任务中。质量检测中的表面缺陷 检测主要依靠机器视觉与计算机视觉的手段来进行检测实现对缺陷的定位、检测 及分割。表面缺陷检测是工业生产质检中的重要步骤传统视觉方法进行处理时一 般包括图像采集、预处理、图像分割、特征提取与识别等步骤 [1] 。这些传统的表面缺 陷算法采用手工提取特征然后对比提取到的特征进而判断是否存在缺陷。通常使 用 Canny 边缘检测提取边缘信息 [2] 然后分割出目标区域再人为定义缺陷的形式和 判断规则提取这一区域的特征最后使用如支持向量机 Support Vector Machines, SVM 等方法进行判别分析。其中特征提取主要依据颜色直方图、尺度不变 SIFT 特征 [3] 、 SURF 特征 [4] 等也可以根据不同类型的待检测物体手工设计特征。这种基 于传统方法的缺陷检测没有统一的方法流程不同的缺陷类型需要进行不同的算法 设计开发成本较高。为了提升系统性能的鲁棒性一些基于机器学习和深度学习的 方法被提出。在无监督学习中姚等人利用了鲁棒 PCA 的方式对太阳能电池进行缺 陷检测 [5] 而 Huang 等人利用纹理先验和低秩表示稀疏编码的方法进行低秩重建和 缺陷检测 [6] 。自编码器也被用于识别晶圆的表面缺陷用于建立缺陷特征的非线性 表达 [7] 。而基于深度学习的无监督学习主要依靠生成对抗网络进行缺陷检测 Wang 等人采用自适应平衡的生成对抗网络解决类别不平衡问题并生成模拟真实的晶圆 通过对比生成数据与真实数据进行缺陷检测 [8] 。在有监督学习中早期的工作主要基 于感知机或 K 近邻算法进行表面缺陷检测 [9] 或者设计 SVM 的复杂核函数来解决问 题 [10] 。随着有监督深度学习在目标检测领域取得重大成就基于 Faster RCNN 及其 改进版本的目标检测方法 [11] 被大量应用于缺陷检测如轮胎缺陷 [12] 、隧道缺陷 [13] 和 光伏电池缺陷 [14] 等。 然而这些工作主要依赖于二维图像进行缺陷检测缺少了三维信息和空间信 息。而三维点云提供了完整的空间信息同时兼具颜色和纹理等色彩信息。付国平等 人利用三角剖分技术实现了基于散乱三维点云的孔洞表面缺陷的检测 [15] 。郭杰利用 设计的点云局部特征进行受电弓的缺陷检测 [16] 。李坤等人利用点云配准的相关技术 进行船体的缺陷检测 [17] 通过粗匹配和精匹配完成点云配准并基于 KDTree 搜索 得到误差并检测缺陷。现有的三维缺陷检测手段比较有限仍有较大的探索空间。 除了缺陷检测伪造鉴别任务也同样依赖于细节的差异分析。刘等人利用灰度共 生矩阵进行纹理描述提出了一种基于纹理特征识别的国徽图像鉴伪方法 [18] 。马等 人利用了文字的形态、分布和角度特征提出了一种自适应特征融合的方式进行签名 的鉴伪方法 [19] 。然而这些方法主要通过二维图像鉴别真伪利用三维数据进行伪造 鉴别的工作较少。 三维点云的相似性相关研究 三维点云的相似性分析有两种主要的方式基于点云的特征对比的方法和基于 点云匹配的方法。 基于特征对比的方法是先提取点云的特征再直接对比两个点云间特征的相似 度进行物体的识别或检索。其中基于局部特征对比的方法使用局部的相似度来识别 物体如 Guo 等人总结了局部特征的提取方法和用于点云识别或检索的流程 [20] 。也 有许多工作基于点云的全局特征对比进行物体的识别或检索利用特征直方图或者 对局部特征全局汇聚得到一个全局表示的特征向量。但全局特征是对物体的整体描 述对三维模型的细节描述不足对整体形状相似的物体识别和描述效果欠佳。这些 特征对比的方法往往会受到点云密度变化、数据分布变化等影响且仅能捕获三维模 型的一些关键点信息不能对所有细节进行充分对比。 基于点云匹配的方法则通过求解两个点云间坐标系的变换矩阵将两个点云进 行坐标系统一和对齐后再进行局部相似性描述。其核心在于如何求解两个点云间 的刚性变换关系。最经典的点云配准工作为 Besk 和 Mckey 提出的最近邻点迭代方法 Iterative Closest Point ICP 它迭代地估计了两个点云之间的变换矩阵并不断修 正 [21] 。这个方法也被广泛应用到三维成像、机器视觉和场景重建中。虽然 ICP 简洁 有效但存在容易陷入局部最优点的缺陷对源点云和目标点云的初始姿态要求较 高对于初步匹配好的点云有较好的效果而对于刚性变换姿态差异较大的两个点 云效果欠佳。后续一些工作为了避免陷入局部最优解采用基于全局配准的方法此 类方法可以分为分支定界 Branch and Bound, BnB 和点对点 Point and Point PnP 关系两类。 在分支定界的方法中具有代表性的是 Go-ICP 方法此方法首次完成了在 ICP 框架下的全局最优配准它用一个不确定球来表示几何边界并根据其给出了 ICP 代价最小值下界 [22] 。 Go-ICP 根据外部 BnB 在旋转空间中搜索和内部 BnB 在几何空 间搜索迭代寻找最优解。也有一些工作利用高斯混合模型 Gaussian Mixture Models GMM 来进行分支定界 [23] 或者利用不对称点匹配将配准问题转换成凹二次分配问 题在 BnB 框架中求解 [24] 。虽然这些基于 BnB 的算法能够在一定程度上找到全局最 优解但开销较大极为耗时难以实际应用。 在点对点关系的方法中大部分是依赖局部特征匹配建立的点与点匹配关系来 进行求解。这类方法通常需要在源点云和目标点云中分别进行关键点检测在检测出 的关键点上提取局部特征给出关键点的特征描述子并建立点对点匹配关系。然后 根据一致性检验 RANSAC 等筛除方法剔除误匹配并估计变换矩阵 [25] 。基于 PnP 关系的匹配方法与基于 BnB 方法相比效果更佳稳定性更强速度更快是目前 点云配准的标准方案。在 BnB 关系中特征匹配是一个关键步骤在二维和三维视 觉中都很受重视。在二维视觉中 Leordeanu 等人提出了谱分析方法构建特征点之 间的邻接矩阵并根据邻接矩阵特征值进行匹配聚类 [26] 。 Torresani 等人通过最小化 匹配代价和能量函数来对匹配进行打分 [27] 。这些基于图匹配的方法的拓展性都不强 Lowe 通过计算最小与次小匹配之间特征距离的比率来进行过滤筛除有效解决了重 复模式造成的匹配二义性但同时匹配的正确率略低 [3] 。在三维视觉中还拓展了基 于几何刚性变换的一致性约束等方法来约束匹配。 Tombari 等人提出了三维霍夫变换 3D Hough Voting 3DHV 来将特征匹配投影到一个三维参数空间中并在参数空间 通过核密度极值点来确定匹配 [28] 。 存在的问题 现有的三维特征提取方法大多在三维网格数据上进行特征的提取或基于纹理 数据进行特征计算对采集设备的要求较高。相比于网格结构点云数据更容易获 取更为通用。所以本文选取了点云数据作为输入数据。而现有基于点云的相似度分 析方法往往只关注整体的相似程度而忽略了局部细节的对比例如三维点云检索和 三维点云识别。一些研究利用局部特征对比的方法进行物体的识别也并没有将所有 的细节点都考虑进去。物体的细节差异分析旨在找出两个物体的每一处不同现有的 研究工作难以直接应用。基于点云配准再对比的方法能够解决上述问题但现有的点 云配准流程如 ICP 依赖于较好的全局初始位置而在实际应用中难以满足。基于特 征点匹配的点云配准方法利用局部位置的对应关系和随机抽样一致性进行点云配准 效果较好。但直接使用点云配准来求解问题的计算复杂度较高对于整体形状差异 较大的物体也无法实现配准。且现有的局部特征计算方法主要解决有遮挡匹配问题 而对两个物体进行细节差异分析时并不存在这种问题需要对这种特定场景设计新 的局部特征计算方法以提高计算效率并提升准确率。 三维点云对比的相关技术 本章首先介绍了三维点云的采集与存储方式接着阐述了三维点云变换的相关 知识然后介绍了三维点云特征提取的一些常用方法以及特征相似程度的衡量手段 最后阐明了本文研究三维点云细节差异的主要目的。 2.1 三维点云的采集设备 为了突破二维图像表达信息的局限性人们将目光转向了三维空间三维成像设 备日益受到关注和应用。三维扫描仪是一种以精密光学为基础的动态测量系统用 于创建物体几何表面的点云形成物体的表面形状点云越密集创建的模型就越精 确。若结合彩色相机使用扫描仪能够获取物体的表面颜色数据则可以进一步在重 建的表面上进行贴图得到彩色点云和纹理图。由于三维扫描仪的扫描范围有限因 此常需要调整扫描仪角度多次扫描以获取物体的完整模型。常见的三维成像设备依 据操作方式的不同可分为手持三维扫描仪、便携三维扫描仪以及大型固定三维扫描 仪同时根据扫描的物理原理不同可分为基于激光三角测量的扫描仪、三维结构光 扫描仪、接触式扫描仪等。 基于激光的 3D 扫描仪使用三角测量的过程来准确地将 3D 形状捕获为大量的点。 其工作原理是将一条或多条激光线投射到一个物体上然后用一个或多个传感器获 取反射光线通过计算激光的反射角从而实现精确的点位置测量。除了用于小型物体 扫描三维激光扫描仪也是地形测绘、土木勘测的重要测量工具。基于激光的三维扫 描仪通常较为便携如手持便携扫描仪、单臂扫描仪等。利用激光三角测量原理进行 三维扫描对于一些坚硬的表面、深色的平面扫描效果较好对变化的光照条件和环 境光不敏感且设备相对廉价。图 2.1 展示了市面上常见的由 Go3Dpro 公司研制的 EinScan H 手持激光三维扫描设备。 三维结构光扫描仪使用蓝色或白色的 LED 投射光将由条状、块状或其他形状 组成的光图案投射到物体上然后利用一个或多个传感器查看这些图案或结构形状 的边缘以确定对象的三维形状同时结合三角测量的原理使得测量更加精确。结构光 3D 扫描仪的精度极高、扫描速度极快、噪声少、分辨率高但只能适用于中短距离 物体且便携性较低、价格较高。图 2.2 展示了市面上常见的由 Artec3D 公司研制的 Artec Eva 结构光三维扫描设备。 接触式三维扫描仪采用实际触碰物体表面的方式来计算深度如座标测量机。这 种方法精确度很高经常在工程制造产业中使用然而因其在扫描过程中必须接触物 体待测物有遭到探针破坏损毁之可能因此不适用于高价值对象如古文物、遗迹等 的重建作业。此外与其他方法相比扫描需要的时间会更长。 2.2三维点云的存储格式 三维对象的基本数据结构包括点、面、法向量、纹理、颜色、光照等多种信息 而点云作为三维对象最主要的信息一般包含点的空间位置坐标、点的法向量信息和 点的颜色信息。三维点云的存储一般使用标准的点云存储文件结构或三维对象存储 结常用的文件类型有 obj 、 off 、 ply 、 xyz 、 pcd 、 las 、 stl 等。 obj 格式是由 Wavefront Techonologies 公司提出的一种文件结构其从几何学上 定义三维模型的结构属于文本文件结构。文件头通常是以‘ # ’开始的注释行。数 据部分每一行的开头关键字代表该行数据所表示的几何和模型元素用空格来分隔 数据。对于点云数据来说其中最基本的关键字是 v 顶点也可以存储法向量和颜色 等信息。 obj 格式除了能够存储基本的点云数据外还能够存储面、纹理、光照等复 杂的三维信息是一种广泛应用在三维制图、 CAD 等领域的通用文件结构。 与 obj 格式文件相比 off 文件存储格式更为简单。 off 是一种文本格式文件头 有两行其中第一行以 off 关键字开头第二行则表示了顶点数、面数、边数。主体 分为顶点坐标顶点列表和面的顶点索引面列表两个部分其中可以指定每个 面的顶点数用第一个数表示。 off 格式存储了点云基本信息和面结构信息是比较 简洁通用的存储格式 ModelNet 数据集即采用 off 的文件格式进行存储 [29] 。 ply 由斯坦福大学的 Turk 等人设计开发是一种多边形文件格式也可以称之为 斯坦福三角格式。文件格式分为文本和二进制两种格式。文件包含头部信息、顶点列 表和面列表以及其他信息的列表然后是按照列表格式呈现的数据段。该文件结构同 样能够存储点云基本信息和面的基本信息是常用的点云存储文件结构后文用到的 Stanford Models 数据集即采用 ply 的格式进行存储 [30] 。图 2.3 展示了真实的 ply 文件 存储信息包含头结构和基本数据段。 xyz 是一种文本格式前面 3 个数字代表点坐标后面 3 个数字表示点的法向量 用空格将数字分隔也可以再增添 3 个数字表示点的颜色。该文件结构相比于其他结 构而言具有更简洁的存储格式但仅能够表示最基本的点云数据不能存储面、纹 理、光照等复杂的三维信息。 pcd 是 PCL 点云库的官方指定格式典型的为点云量身定制的格式。优点是支 持 n 维点类型扩展机制能够更好的发挥 PCL 库的点云处理性能。文件格式包含文 本和二进制两种类型。 pcd 格式具有文件头用于描绘点云的整体信息。数据本体部 分由点的笛卡尔坐标构成文本模式下以空格作为分隔符。但该存储类型与其他的三 维处理软件如 MeshLab 等兼容性不高存在使用局限性。 las 是激光雷达 LiDAR数据的工业标准格式是一种二进制文件格式。目的 在于提供一种开放的格式标准允许不同的硬件和软件提供商输出可以互操作的统 一格式。该文件格式主要支持激光雷达数据的存储普适性较低。 stl 是 3D Systems 公司创建的三维模型文件格式用于表示三角形网格主要在 CAD 、 CAM 领域中应用。 stl 分为文本和二进制两种格式。文本格式的 stl 文件在首 行中给出了文件路径及文件名然后逐行给出三角面片的几何信息。二进制格式以三 角面为单位组织数据每一个三角面由 7 行数据组成最后一行是结束标志。 综合以上对常用的点云存储文件类型的描述本文主要使用简洁易用且通用性 强、兼容性高的 ply 文件格式作为点云存储格式并进行后续算法与系统的设计、开发 与实验。 2.3三维点云的空间变换 三维点云的空间变换包括刚性变换和非刚性变换。本文的研究对象主要是刚体 因此下面主要介绍三维物体的刚性运动。三维物体的刚性运动通过刚性变换来描述 由两个坐标系间的平移和旋转组成。可以表示为平移矩阵、旋转矩阵和欧拉角等[31]。 因为增加了缩放变换此时就不再是刚体变换了这种变换是相似变换描述了 旋转、平移以及等比例尺度缩放的过程。同样地若不要求旋转矩阵 R 的正交性可 将 R 替换为任意可逆矩阵 A 则可描述仿射变换。这些变换及其对应的不变性在表 2.1 中详细描述表格中 a 描述了透视变换 表示整体比例因子。其中欧式变换为 刚性变换其他为非刚性变换。 上述的三维点云空间变换的基础知识为本文的特征匹配、尺度相似度计算等方 面提供了理论基础。 2.4三维点云相似度分析 三维点云的相似度衡量一般用于点云检索、物体识别、点云配准几个常见的任务 中。其中最广泛、最直接的应用为点云检索检索是通过用户给定的一个三维点云模 型从数据库中检索出最相似的若干个三维点云物体。该过程主要依靠点云间相似度 的计算来衡量相似程度。检索流程主要包括构造三维模型数据库、对数据库内的三 维模型进行特征提取并存储、读取用户输入的点云、点云预处理、计算输入点云的特 征、计算输入点云特征与数据库内点云特征的相似度、根据相似度进行排序最终显 示给用户等几个步骤。首先预定义系统的数据集然后对数据集中的三维点云提取 点云特征并保存在数据库内等待匹配。对于用户输入的点云进行预处理与特征计 算并将计算得到的点云特征与数据库存储的点云特征做对比计算其相似度。选择 出相似度最大的若干个物体作为检索系统一次查询的输出。三维点云物体识别与检 索类似依靠点云特征的计算然后利用霍夫变换投票来进行物体检测根据特征空 间的相似度将特征投票到参数空间然后在参数空间识别物体。而基于点对点关系的 点云配准则针对于每个特征点预定义一系列的关键点然后在关键点计算特征描述 向量并对比特征向量之间的相似度确定匹配关系然后求解变换矩阵。 在三维点云相似度计算中主要依赖的两个核心步骤为特征的提取和特征相似 度的计算最终给出相似度得分。 2.4.1点云特征的提取 根据三维点云特征提取算法的不同主要分成两大类点云全局特征和点云局部 特征。点云全局特征描述了点云整体的几何结构、颜色、空间信息等常表达为一个 特征向量这种表达一般需要该特征具有平移、缩放、旋转的不变性以避免歧义。全 局特征有良好的不变性表示直观但一般特征维数较高计算量大且不适用于点 云不完整有遮挡的情况。局部特征则是点云局部区域中抽取的特征能更好地表示细 节特征易于快速匹配。 全局点云特征提取方法根据处理方法和表现形式的不同一般分为 [32] 1 基于 统计直方图的算法2 基于多视图的特征提取方法 3 基于拓扑结构的方法 4 基于集合变换的提取方法5 基于深度学习的特征方法 基于统计直方图的算法一般具有简洁高效的特性但表达能力较弱是一种广泛 使用的统计性特征提取方式。该方法主要依靠不同的区间划分对随机信号进行统计 对三维点云而言一般可以通过同心球划分、扇形划分和组合划分将点云模型划分 成不同的区间并在不同区间内分别计算一个数值特征通常为计数得到直方图向 量。其中同心球划分不随点云的旋转和平移发生区间划分的变化具有平移和旋转 不变性而扇形划分和组合划分会随着点云的旋转产生不同的划分结果不具有旋 转不变性。组合划分和扇形划分将网格划分的更细致具有较好的表现力但不具有 旋转不变性需要待处理点云处于同一坐标系下且方向严格对齐约束性较高。 基于多视图的特征提取方法也是常用的一种三维特征提取方法 [33-34] 。早期的计 算机视觉主要在图像领域进行了大量研究提出了包括 Harrs [35] 、 SIFT [3] 等成熟的二 维图像特征提取方法。然而这些成熟的二维图像特征提取方法难以直接用于三维点 云所以一种直观的想法是把三维图形投影为二维图形认为如果两个三维模型相似 那么两者的二维投影也应该是相似的然后在二维图形上进行特征计算。 M2DP [34] 和 MVCNN [33] 这些方法都依靠此种思路将复杂的三维点云投影到多个二维平面然 后在二维空间中提取图像特征并将每个视图的特征整合在一起。如图 2.4 所示三 维物体经过多视角投影可以映射到不同二维平面上并通过在二维图像上提取图像 特征完成点云的特征提取并融合不同视图间的特征。这种方法计算简洁具有直观 的可解释性。然而这种方法高度依赖于投影平面的选择方式和投影分辨率不同坐 标系下选择不同的投影平面将会导致该特征存在一定的旋转歧义性一些方法为了 弥补这个缺陷提取了利用不同角度的上千个投影平面来提高鲁棒性构成光场特 征其计算效果较好但计算复杂度高难以进行普遍推广 [36] 。 基于拓扑结构的特征提取方法描述了三维物体内部的几何拓扑结构和结构之间 的相互关联。对于同一类物体其拓扑结构较为相似不同类的物体拓扑结构差异较 大一般用于描述物体的大体形状、轮廓等特性。常见的方法有 Reeb 图 [37] 、属性邻 接图 [38] 和骨架图 [39] 等。 Reeb 图利用函数描述拓扑关系对变形具有鲁棒性比较适 用于非刚性物体运动描述 [37] 。属性邻接图通过图来表达拓扑结构利用图算法进行 相似度评估。例如该方法被用作 CAD 模型的聚类表达中 [40] 。基于骨架图的描述方 法通过三维模型骨架提取方法进行骨架提取比较直观。基于骨架的方法比较适用于 人、动物等具有关节性的物体但并不适用于自然界的普适物体。 基于集合变换的方法一般通过频域变换的方式实现如小波变换、傅里叶变换、 球面调和变换等利用频率描述三维物体。 Vranic 等人利用离散傅里叶变换描述了体 素化的三维模型来表达三维物体的特性 [41] 。基于球面调和变换的方法首先构造球面 函数然后通过球面变换得到较为紧凑的特征表达。 Vranic 等人将球面调和引入三维 特征提取领域并经过 Kazhdan 等人的改进后具有了旋转不变性 [42] 但仍然面临着 计算较为复杂的问题。 基于深度学习的方法最初通过将三维点云转换成二维图像然后借助图像卷积 神经网络进行特征的构建如 MultiView CNN [33] 这种方法依赖于点云投影计算 复杂且由于坐标系的不一致问题难以得到有效的特征表达。 Qi 等人提出了 PointNet 和 PointNet 直接使用深度神经网络对点云坐标数据进行特征提取 [43-44] 。然而 PointNet 没有考虑点的局部关系 Wang 等人利用动态图构建了点云网络并在局部 进行卷积操作提出了 DGCNN 算法提高了点云特征的表达力 [45] 。近些年来大 量基于图卷积的深度学习的特征提取网络被提出并用于点云分类、分割等任务中。 近两年利用全注意力机制的点云特征网络也被提出如 Guo 等人提出了 PCT 网络 利用注意力机制强大的特征表达能力取得了点云特征表达的较好结果 [46] 。然而当 测试场景发生较大的变化时这些方法往往结果较差需要额外的迁移学习或大规模 自然场景数据集的支撑且计算复杂度较高依赖于现代高性能计算平台。 本文的研究对象为三维的刚性物体因此将主要对基于直方图和多视图的三维 全局特征提取方法进行研究。 局部点云特征提取方法一般分为 1 针对刚体的局部特征2 针对非刚体 的局部特征。其中物体的相对位置关系在变换过程中保持不变的为刚性物体变换 而类似人体等具有关节活动、形状改变的物体为非刚性物体。在描述局部特征之前 应预设一组关键点表示待提取特征的局部位置可以将点云中的所有点作为关键点 也可以利用一些关键点定位方法自动选择有代表性的局部位置。如在 SIFT 方法 [3] 上 衍生出的 SIFT3D 关键点定位方法利用局部颜色极值点来确定关键点位置。 Zhong 等人设计的 ISS3D 特征点 [47] 在不同视角进行计算得到关键点位置而 Steder 等人利 用边界与前背景信息计算关键点 [48] 。 刚性变换物体的局部特征主要通过描述局部几何结构、法向量等表面信息来构 建局部特征。 Johnson 等人利用邻域点在关键点的法向量切平面投影生成旋转图像 得到 Spin Image 特征描述子 [49] Frome 等人将特征关键点作为球心构建三维球体并 将三维球体划分成不同的空间部分在不同的空间内统计点的信息作为关键点的三 维形状上下文描述子 3DSC [50] 。旋转投影数据描述子 Rops 由 Guo 等人提出通 过构建唯一的局部参考系进行特征的计算 [51] 后续又将 Spin Image 的思路融合到唯 一的局部参考系内形成每个轴独立计算的 Triple Spin Image 特征描述子 [52] 。 Salti 等 人也构建了唯一的坐标系然后对三维球体划分统计每个点的法向量信息 [53] 同样的 思路也被 Tang 等人应用进行局部特征的计算 [54]。也有一些工作统计每个点的信息 构建点特征直方图 PFH 进行局部特征描述 [55] , 但计算复杂度较高后续经过加速 改进后成为比较主流应用的快速点特征直方图 FPFH 局部特征 [56] 。基于深度学 习的局部特征方法一般也针对刚性物体一般通过全局特征构建网络的前半部分来 构建局部点特征表达然后专门设计基于深度学习的局部特征增强网络和匹配网络 例如 Wang 等人提出的 DCP [57] 和 Aoki 等人提出的 PointNetLK 网络 [58] 。 非刚性变换物体的局部特征在近几年开始被研究主要用于姿态的估计以及物 体的识别这类特征在非刚性变换下仍然保持不变性。早期的方法参照形状上下文的 方式在测地距离的框架下进行局部特征的提取 Reeb 图特征 [59] 。 Lipman 等人提出 使用局部保形拓扑结构区域内的点作为特征描述对比方法 [60] 。随着研究的进展拉 普拉斯 - 贝尔特拉米算子被提出用于几何处理 [61] 。一些基于拉普拉斯特征方程的方法 被提出 [62] 随后 Sun 等人又解决了拉普拉斯特征值的正负号问题 [63] , 基于该工作 Aubry 等人提出了更具有代表性的基于波核函数 WKS 的方法解决这一问题 [64] 。 然而这些局部特征大多依赖于局部的网格面片结构而非单纯的三维点云。一些设备 进能够采集三维点云数据而没有网格面片结构这种情况需要首先进行表面网格结 构的估计与重建引入额外大量计算。 本文的研究对象为刚性变换物体对比两个刚性变换物体的细节差异才具有实 际意义因此在后续的章节中以针对三维刚体点云的特征提取方法为主要讨论与研 究的对象。 2.4.2特征相似度计算 点云的相似度计算通常通过计算特征之间的相似度。特征的相似度度量一般 计算两个特征向量之间的距离特征向量间的距离越小其相似度越高。给定两个三 给定两个特征计算相似度其距离应该满足交换律不会随着顺序的变换而对结果产 生影响。正定性描述了两个特征间的距离必须大于 0 而三角不等式性质描述了作为 描述相似度的距离度量函数需具有偏序单调性不会产生歧义性。 常用的距离度量包括欧式距离、曼哈顿距离、余弦相似度、杰卡德相关系数、 皮尔逊相关系数等。其中欧式距离和曼哈顿距离度量了欧几里得空间中的远近程度 具有计算简洁高效的优点。余弦相似度将两个特征向量看作欧氏空间中的带方向向 量然后衡量两个向量的夹角的大小该方法常用于衡量归一化的特征或单位向量之 间的相似度同样计算简洁高效。而杰卡德相关系数衡量了两个无需特征间的相似 度但计算不够精确。皮尔逊相关系数用来计算两个向量的相关性或分布的相关性 具有平移不变性和尺度不变性。
