cd网站建设,wordpress代码编辑器,wordpress 头像,专业团队图片张伟高清续上篇 文章目录 #xff08;一项技术的复现#xff0c;我们应该有打破砂锅问到底的态度#xff0c;我找到了这篇文章的一些灵感来源#xff0c;包括算法和编程以及专业知识等#xff0c;对我而言也是受益匪浅#xff09;1. 数据准备1.1 A deep learning approach to de…续上篇 文章目录 一项技术的复现我们应该有打破砂锅问到底的态度我找到了这篇文章的一些灵感来源包括算法和编程以及专业知识等对我而言也是受益匪浅1. 数据准备1.1 A deep learning approach to detecting volcano deformation from satellite imagery using synthetic datasets正在更新##########1.1 摘要 1.2 真实场景数据集1.2.1 ImageNet总结 1.2.2 VolcNetVersion 1.0 版本Version 2.XVolcNet项目结构1bin101_volcnet_constructor.py202_volcnet_labelled_ifg_constructor.py3reformat_annotation_labels.py 2volcnet1_aux.py2creating_ifgs.py3labelling.py4plotting.py 《Simultaneous classification and location of volcanicdeformation in SAR interferograms using deep learningand the VolcNet database》0 摘要原文翻译分析 1 引言原文翻译分析 2 不同的数据格式data classification实现分类原文翻译分析 3 Classification and Localisation原文翻译分析 4 结论重点原文翻译分析 《Blind Signal Separation Methods for InSAR: The Potential to Automatically Detect and Monitor Signals of Volcanic Deformation》1 摘要原文翻译分析 2 要点原文翻译 3 简明语言总结原文翻译 4 引言原文翻译分析 5 Organizing and Synthesizing Data重点原文翻译分析 Identification of Surface Deformation in InSAR Using Machine Learning1 摘要2 要点3 引言4 CNN和训练集的问题4.1 CNN4.2 数据集不平衡和解决方式4.3 生成合成训练数据形变合成分层大气合成湍流大气合成 5 方法5.1 使用合成数据初始化模型5.2 测试真实数据 《Application of machine learning to classification of volcanic deformation in routinely generated InSAR data》正在更新##########《The application of convolutional neural networks to detect slow, sustained deformation in InSAR time series》正在更新##########《A deep learning approach to detecting volcano deformation from satellite imagery using synthetic datasets》正在更新########## 2. 目标检测3. Transforer 及改进模块ViT和Swin Transforer的原理和代码实现4. 迁移学习5. LiCSAR 一项技术的复现我们应该有打破砂锅问到底的态度我找到了这篇文章的一些灵感来源包括算法和编程以及专业知识等对我而言也是受益匪浅
1. 数据准备
1.1 A deep learning approach to detecting volcano deformation from satellite imagery using synthetic datasets正在更新##########
1.1 摘要
1.2 真实场景数据集
作者用到了两个公开数据集博主之前没有接触过。因此凭借这个机会对这些数据集作进一步了解。
1.2.1 ImageNet
ImageNet是一种数据集而不是神经网络模型。斯坦福大学教授李飞飞为了解决机器学习中过拟合和泛化的问题而牵头构建的数据集。该数据集从2007年开始手机建立直到2009年作为论文的形式在CVPR 2009上面发布。直到目前该数据集仍然是深度学习领域中图像分类、检测、定位的最常用数据集之一。 基于ImageNet有一个比赛从2010年开始举行到2017年最后一届结束。该比赛称为ILSVRC全称是ImageNet Large-Scale Visual Recognition Challenge每年举办一次每次从ImageNet数据集中抽取部分样本作为比赛的数据集。ILSVRC比赛包括图像分类、目标定位、目标检测、视频目标检测、场景分类。在该比赛的历年优胜者中诞生了AlexNet2012、VGG2014、GoogLeNet2014、ResNet2015等耳熟能详的深度学习网络模型。“ILSVRC”一词有时候也用来特指该比赛使用的数据集即ImageNet的一个子集其中最常用的是2012年的数据集记为ILSVRC2012。因此有时候提到ImageNet很可能是指ImageNet中用于ILSVRC2012的这个子集。ILSVRC2012数据集拥有1000个分类这意味着面向ImageNet图片识别的神经网络的输出是1000个每个分类约有1000张图片。这些用于训练的图片总数约为120万张此外还有一些图片作为验证集和测试集。ILSVRC2012含有5万张图片作为验证集10万张图片作为测试集测试集没有标签验证集的标签在另外的文档给出。 ILSVRC2012是ImageNet的子集而ImageNet本身有超过1400多万张图片超过2万多的分类。其中有超过100万张图片有明确类别标注和物体位置标注。 对于如基于ImageNet的图像识别的结果评估往往用到两个准确率的指标一个是top-1准确率一个是top-5准确率。Top-1准确率指的是输出概率中最大的那一个对应的是正确类别的概率top-5准确率指的是输出概率中最大的5个对应的5个类别中包含了正确类别的概率。ImageNet下载指南 Imagenet数据集是由根据WordNet 层次结构(目前只有名词)组织的图像数据库其中层次结构的每个节点都有成百上千的图像。其总共有大约21K类每一类节点对应一个wnidWordNet ID of class1500多万张图片如下图展示了32326类的Imagetnet数据集组织形式。
总结
我觉得这个东西就有点扯淡以一个多分类的光学预训练权重迁移到一个单通道的目标检测任务中处理的东西还由RGB转变到了相位这一定是不科学的在我看来。因此在复现过程中我并不会去考虑在大数据集上获取一个预训练权重。
1.2.2 VolcNet
VolcNet 是一个由火山事件构成的Sentinel-1数据集带框。项目来自欧洲空间局(Living Planet Fellowship programme)的“利用深度学习进行火山监测”项目框架并得到了欧洲空间局的资助。
Version 1.0 版本
本数据集包含约250个带标签的解包干涉图其中包含变形类型的标签包括无变形的示例以及干涉图中变形的位置。这些数据用于训练一个名为VUDL-21的CNN该CNN的详细信息在《Simultaneous classification and location of volcanicdeformation in SAR interferograms using deep learningand the VolcNet database》https://eartharxiv.org/repository/view/1969/。 以下图示展示了数据和标签的示例。为了简化数据库只需使用pickle打开文件并使用numpy处理数组干涉图使用掩码数组存储以便屏蔽不一致的像素。由于许多干涉图来自时间序列这些数据被整理到一个单独的文件中因此每个文件的长度可能不同。V1.1计划包含一个索引功能以根据火山名称找到干涉图。
Version 2.X
该数据可用于创建约500,000个带标签的干涉图。详见《Simultaneous classification and location of volcanicdeformation in SAR interferograms using deep learningand the VolcNet database》。改为使用带有变形持续时间和幅度标签的时间序列然后自动创建时间序列中任意两次获取之间的带标签干涉图。要创建您自己的带标签数据请查看bin/02_volcnet_labelled_ifg_constructor.py中的示例。以下是生成并标记西埃拉内格拉的所有可能获取之间的所有干涉图。 A breakdown of the type and label of data:
VolcNet项目结构 1bin
101_volcnet_constructor.py
这段代码是用来构建VolcNet数据库的。它从各种输入数据中构建数据库。处理LiCSBAS基于LiCSAR的差分干涉测量时间序列数据将其转换为适合VolcNet数据库的格式并保存为.pkl文件。处理Marco Bagnardi提供的加拉帕戈斯Galapagos时间序列数据类似地将其转换为VolcNet数据库的格式并保存为.pkl文件。处理Fabien Albino提供的阿贡火山Agung数据同样将其转换为VolcNet数据库的格式并保存为.pkl文件。这些处理步骤包括读取数据、处理时间信息、处理地理坐标信息、处理变形数据、处理水体和相干性掩膜等。最终生成的.pkl文件包含时间序列数据、时间信息、变形事件定义等信息这些信息可以被后续的分析程序使用。
202_volcnet_labelled_ifg_constructor.py
这段代码用于创建从VolcNet数据中提取的带标签的干涉图。处理和可视化来自VolcNet项目的地质变形数据以及对数据进行标记以便进一步分析和研究。
3reformat_annotation_labels.py
这段代码的作用是对给定的目录中的所有标签文件进行处理将其中的边界框格式转换为闭合多边形格式并将结果写入新的标签文件中。
2volcnet
1_aux.py
这段代码定义了一个函数 ll_2_pixel()其作用是将经纬度坐标转换为图像像素坐标。
2creating_ifgs.py
这段代码实现了一个函数 create_volcnet_ifgs()其主要功能是根据提供的标签信息和 VolcNet 数据生成用于深度学习模型训练的地表形变干涉图像。
3labelling.py
这些函数主要用于处理 VolcNet 数据并为每个干涉图像生成相应的标签信息以便后续用于深度学习模型的训练。
4plotting.py
这段代码定义了一个函数 remappedColorMap, 用于重新映射颜色映射的中点以及调整颜色范围的缩放。这在处理数据范围既有负值又有正值时很有用可以将颜色映射的中点调整为零并对剩余的颜色范围进行缩放以确保数据的对称性和可视化效果。
《Simultaneous classification and location of volcanicdeformation in SAR interferograms using deep learningand the VolcNet database》
0 摘要
原文翻译
随着InSAR技术逐渐成为主动灾害监测工具其能够快速检测地表变形的特性人们开始寻求新的方法来快速自动解释大量生成的干涉图。在这项工作中我们提出了一种卷积神经网络CNN能够在单个步骤中既对变形类型进行分类又能够定位干涉图中的变形。我们通过构建一个“two headed model”来实现这一目标该模型能够在一次前向传递中返回两个输出因此不需要使用滑动窗口方法进行定位。我们首先通过创建一组包含变形类型和位置标签的合成干涉图的大型数据集来训练我们的模型但同时发现通过包含少量真实数据我们的模型性能得到了改善。在构建这种类型的模型时通常会从设计用于不同问题的其他模型中转移模型内的一些权重。因此我们还研究了如何最好地组织干涉图以便模型中学到的滤波器对干涉图中的感兴趣的信号敏感但我们发现在每个输入通道中使用不同的数据与简单地在每个通道中重复解缠绕相比会显著降低性能。这意味着包含补充数据我们期望能够提高区分变形和噪声的能力需要从头开始训练网络。
分析
1多任务是一种可以同时处理多个相关任务的模型。实现多任务模型的一种常见方法是在神经网络中构建多个输出层每个输出层对应一个任务。另一种实现多任务学习的方法是使用注意力机制或门控机制以便模型能够动态地决定在每个时间步骤或层级中应该关注哪些任务。总之多任务模型可以通过在神经网络中设计适当的结构和损失函数以及使用注意力机制或门控机制来实现。 2作者提出的是一个CNNs但是在执行上会同时产生分类和定位的作用也就是说这个是一个多任务CNNs模型。 3作者使用的是混有真实数据但是数据集的主体为模拟数据来训练网络。 4作者似乎在思考预训练权重在这项任务中的必要性
1 引言
原文翻译
近年来将火山监测扩展到全球约1400座陆地火山的工作导致了几种机器学习方法在通过干涉雷达卫星InSAR产生的地面变形图上的应用。Anantrasirichai等人2018年2019ab和Valade等人2019年的工作使用卷积神经网络CNN来确定单个干涉图是否包含变形而Gaddes等人2018年的工作使用盲信号分离方法来确定时序干涉图是否显示出不稳定迹象。然而在上述两个示例中每个算法都对可能在火山测量到的各种类型的变形知识有限。Anantrasirichai等人2019a提出的算法将所有包含变形的数据分配给一个标签而Gaddes等人2018年提出的算法则向用户发出有关存在信号变化的警报但不确定存在的变形类型。因此我们希望通过开发一种CNN来改进这些方法该CNN能够区分不同类型的变形并检测其空间范围。 在机器学习术语中检测物体的空间范围称为定位有多种方法可以实现。对于只有一个分类驱动对象特征的简单情况通常有两种方法。在第一种方法中**CNN在感兴趣对象的相对较小的图像上例如224 × 224进行训练然后训练好的模型被用于更大的图像例如1000 × 500这些图像被细分成与原始训练数据相同分辨率的patch。**这种方法在Anantrasirichai等人2018年中被采用它避免了通过使用AlexNet CNNKrizhevsky等人2012年进行重复的前向传递所可能带来的巨大计算成本AlexNet CNN需要相对较少的操作来完成对模型的前向传递Canziani等人2016年。此外这种方法的局限性在于CNN不需要学习如何确定感兴趣对象的位置并且在更基本的层面上仍然是一个分类而不是定位模型。 在计算机视觉领域已经发展出了能够同时对图像进行分类描述对象位置的CNN模型。对象的位置可以通过将其包围在一个矩形内来指示例如Simonyan和Zisserman2014Redmon等2016或者在更复杂的算法中通过识别构成对象的像素来指示对象的精确轮廓例如He等人2017。这些方法应该能够提供比将分类模型反复用于图像不同区域更详细的感兴趣信号的空间范围信息。因此我们努力开发一种能够同时对变形类型进行分类并在干涉图中进行定位的算法。图1显示了我们对不同类别变形模式的初步划分可以 类比于支撑ImageNet的WordNet层次结构Fellbaum1998。 图1在火山中心干涉图中感兴趣信号的提议层次结构。我们提出了一个模型能够将 干涉图分类为仅包含大气信号或包含由膨胀短柱或开裂岩墙引起的变形。由于我们提出的模型将仅使用来自一个视角的数据我们设想可能将由可建模为点压力源通常称为“莫吉”源Mogi1958导致的变形并入膨胀短柱标签中。我们并不认为这个层次结构是完整的并且设想未来的研究可能会添加更多的子树比如由于已固化熔岩流冷却和收缩而产生的信号。
在构建用于分类或定位问题的CNN时通常的方法可以 根据对现有模型的利用分为三种方式 。 在最基本的情况下会设计一个新模型在对其中的所有参数进行训练之前例如Rauter和Winkler2018但这种方法存在风险可能无法利用CNN在其他问题上取得的成功应用。因此可以将针对某一问题的或曾经是最先进的模型的大部分架构重新训练以解决新问题。由于许多CNN在卷积层之后具有完全连接的网络因此通常会保留卷积层并设计一个新的完全连接的网络来输出感兴趣的类别。然而这种方法仍然需要训练一个可能包含数千万参数的CNN这将是计算上昂贵的并且需要大量的训练数据。AlexNet一个之前的图像分类CNN有6000万参数曾经在120万张图像上进行训练即使在GPU上实现也需要大约一周的时间进行训练Krizhevsky等人2012。因此一种常见的方法称为迁移学习即保留初始卷积层的结构和权重仅训练网络的最后一个完全连接的部分。这种方法被Anantrasirichai等人2018成功地使用过他们使用了AlexNet的结构和权重但创建了自己的完全连接的分类器来输出干涉图中是否包含变形的信息。 CNN中卷积滤波器学习到的权重对于网络检测特征的能力至关重要因为这些滤波器必须对图像中这些特征呈现的模式敏感。由于AlexNetKrizhevsky等人2012和VGG16Simonyan和Zisserman2014等网络最初是为了参加ImageNet竞赛Deng等人2009而开发的这些滤波器已经训练成可以检测自然图像中存在的特征类型例如人的照片或汽车。在进行迁移学习时如果网络要正确分类和定位变形信号那么这些滤波器必须对变形信号中呈现的模式敏感。然而由于干涉图的formats不同因此需要考虑哪种formats能够使在自然图像上训练的模型中的滤波器表现出色。
分析
1作者的定位应该指的是目标检测。文中提到的第一个策略也是我们比较容易想到的。就是拿小图进行训练然后把大图裁剪至小图大小进行预测。但是作者指出这没有达到他想进行定位的目的。其实要按照我的思路还不如进一步映射个概率然后上采样后直接进行分割呢。 2作者安利了迁移学习。 3作者采用树状结构管理数据。
2 不同的数据格式data classification实现分类
原文翻译
由于计算机视觉中最常见的CNN是基于包含每个像素的红色、绿色和蓝色值的通道的图像训练的因此要与网络一起使用的其他数据也必须是三通道的。然而当考虑到干涉相位图像时这些图像每个像素仅包含单个值因此只有一个通道并类似于灰度图像。通过将单通道的干涉图像复制到CNN的三个输入通道中可以绕过通道数量的差异但在我们的研究中我们希望确定是否可以改进这种方法。 当两幅SAR图像合并形成单个干涉图时结果是一个由复数组成的二维数组。虽然每个复数的幅度与给定像素的基础亮度和相干性有关但通常只显示幅角因为这些相位值可以用来推断地面移动。然而干涉图的相位值被缠绕在范围[-π π]内因为只能测量相位值的小数部分但可以估计这种歧义以产生一个解缠的干涉图Chen和Zebker2001。我们假设除了使用填充三个通道的缠绕或解缠数据之外干涉图的原始复数也可以用于两个通道因此允许网络使用干涉振幅作为相位可靠性的指标。 然而我们还可以考虑将外部数据输入到CNN中。当人类观察者解释干涉图时他们可能会使用诸如数字高程模型DEM之类的数据因为这可以帮助确定信号是由于变形还是由于与地形相关的大气相位屏Bekaert等人2015。因此我们推测将DEM包含到我们的CNN中将提高其性能并在跨不同通道变化输入时进行调查。 为了进行这项分析我们首先合成了一组带标签的干涉图数据集。收集足够的带标签数据来训练CNN通常是耗时或昂贵的我们发现将定位标签添加到数据中比以前的研究更加耗时。另外由于训练CNN所需的大量数据以及我们扩展到不同类型变形的分类获取足够的真实数据是不可能的。因此我们仅使用合成数据进行这项分析。根据图1中提出的层次结构我们创建了包含以下内容的干涉图不含变形、由于岩浆柱开裂引起的变形或由于膨胀的岩床引起的变形。我们将岩浆柱和岩床建模为近似垂直和水平断层在弹性半空间中具有均匀张开Okada1985。对于岩床组我们在0-359°范围内随机选择方位角在0-5°范围内随机选择倾角在0.2-1米范围内随机选择张开在1.5-3.5千米范围内随机选择深度在2-6千米范围内随机选择宽度和长度。对于岩浆柱组我们在0-359°范围内随机选择方位角在75-90°范围内随机选择倾角在0.1-0.7米范围内随机选择张开在0-2千米范围内随机选择顶部深度在0-8千米范围内随机选择底部深度在0-10千米范围内随机选择长度。然后将这些变形模式与地形相关的大气相位屏APS和湍流APS相结合我们在Gaddes等人2018中更详细地讨论了生成过程。我们使用SRTM 90m DEMFarr等人2007计算地形相关的APS并使用产品中包含的海岸线信息来屏蔽水域。我们还在干涉图中合成不一致的区域并在掩盖这些区域以使我们的合成干涉图尽可能地与由LiCSARGonz´ 138 alez等人2016自动生成的Sentinel-1干涉图相似。图2显示了混合这些不同元素以创建我们的合成干涉图的结果。 图2七个合成干涉图的组成部分示例。其中三分之一不包含变形例如干涉图5三分之一包含由膨胀岩床引起的变形例如4三分之一包含由开裂地下岩体引起的变形例如2。这些信号经过地理编码并遮罩水域然后与地形相关的大气相位屏和湍流相位屏组合。不一致区域也被合成然后用于遮罩三个信号的组合以创建最终的合成干涉图。 该过程创建了解缠数据可以通过找到解缠相位的模2π来转换为缠绕数据。然而合成复杂干涉图的实部和虚部需要了解像素的强度和相位。为了实现这一点我们再次使用SRTM DEM并计算在Sentinel-1卫星使用的入射角度29.1至46.0°下的反射电磁辐射的强度然后添加斑点噪声并计算两幅图像之间的干涉振幅即两个振幅的乘积。对于将要使用迁移学习进行训练的CNN的输入必须重新调整为原始训练中使用的输入我们仅使用相对值范围为[-1-1]的合成强度。有了每个像素的模相对强度和参数缠绕相位的知识实部/虚部分别是模和参数的余弦/正弦的乘积。图3显示了使用可用的三个通道表示干涉图的五种不同方式。 Figure 3展示了将干涉图组织成三个通道形式的方式。第一和第二列显示了重复的解缠数据第二列还包括了DEM作为第三个通道。第三列显示了干涉图每个像素的复数值的实部和虚部占据了第一和第二通道而DEM则包含在第三通道中。第四列显示了重复的缠绕数据而第五列包括了DEM作为第三个通道。
我们构建的用于分类合成干涉图的CNN使用了VGG16的五个卷积块之后接上我们自己设计的全连接网络。选择这个网络是因为在计算机视觉领域用于分类自然图像时它的性能优于老的模型比如AlexNet后者被用于Anantrasirichai等人2018年 提出的算法中。当形状为224×224×3的干涉图通过VGG16的卷积层时它被转换为形状为7×7×512的张量。然后它被扁平化为大小为25,088的向量然后通过大小为256、128的全连接层以及大小为三的输出层即地堑、岩浆岩或无变形传递。为了产生可用作概率的输出集我们对最后一层使用了softmax激活函数但在其余层中我们使用修正线性单元ReLU 以减少计算时间。由于我们的模型旨在解决分类问题因此我们使用分类交叉熵作为损失函数我们试图使用Nadam优化器来减少这个损失因为它不需要选择学习率。 用于分类的CNN常见问题是过拟合训练数据导致模型在新数据上的泛化能力较差。我们通过在256个神经元层和128个神经元层之前使用dropout来限制这一问题。通过在每次数据通过我们模型的传递过程中随机删除一些连接这种方法旨在确保我们的模型被迫学习更健壮的训练数据表示。由于我们使用的是合成数据我们不受收集标记数据的常规成本限制因此能够生成20000个干涉图这些图在各个类别之间均匀分布而无需使用数据增强技术。 图4显示了使用先前讨论的每种数据格式训练的五个模型的结果。达到的最高分类准确率约为0.95当模型使用在三个输入通道上重复的缠绕或解缠数据进行训练时达到。然而值得注意的是解缠相位模型的准确率需要完整的20个周期才能达到这一性能与在第八个周期后几乎没有变化的包裹相位模型形成对比。将DEM作为第三个通道的包含似乎会降低分类准确性而在实部和虚部通道情况下达到非常低的准确率。我们在第4节中对这些结果进行了更详细的讨论但在本文的其余部分我们选择使用在三个输入通道上重复的解缠数据。我们之所以选择这种方法是因为最终使用缠绕或解缠数据所达到的分类准确率之间没有显著差异但使用解缠数据可以使模型与解缠时间序列一起使用从而检测到由低应变速率过程产生的微妙信号。此外使用解缠数据的模型还可能提供扩展到自动定位和分类解缠错误的机会。 图4使用不同格式排列的三通道数据进行训练时对验证数据总量的10%进行分类的准确率。 “u”解包裹数据“w”包裹数据“d”DEM“r”干涉图的实部“i”干涉图的虚部。在“rid”数据中观察到较低的准确率在包裹和解包裹的情况下将DEM包含在第三通道中会降低分类准确性。在训练的20个周期结束时包裹和解包裹数据之间的准确率之间只有很小的差异两者都能正确分类约95%的验证数据尽管包裹相位模型似乎更快地达到了这个准确率水平仅需要八个周期的训练。
分析
1作者第一种方案把单通道的相位复制三份然后模拟CV中的RGB输入在我看来并不合理。 2作者第二种方案把复数数据作为两通道输入这点我没有想到。 3作者第三种方案借助外界辅助数据例如DEM作为通道一同输入这点我想到了但是还没去做。 4相位数据合成上包含形变以及APS分层和湍流然后再用掩膜扣掉一些区域模拟失相干。具体来自Gaddes等人2018 5振幅数据合成上我是真的第一次知道原来振幅也可以合成作者有点东西。 6在读到这篇文章之后博主才觉得自己在开始初窥这个行业感觉比自己想象的做的要深。Anantrasirichai, N的文章应该需要认真拜读。文章1、文章2、文章3. 7作者通过实验建议使用第一种方案具体而言三通道都采用解缠的相位数据。
3 Classification and Localisation
原文翻译
1使用合成数据 在前一节中我们演示了当使用在ImageNet数据上学习的VGG16卷积权重时对合成干涉图进行分类时当缠绕或解缠相位在三个输入通道上重复时大致可以达到最佳性能。我们选择继续使用解缠相位模型因为解缠的计算成本通常已经被自动处理系统例如LiCSAR2016所满足而使用解缠相位的模型的开发可能会带来诸如能够分类和定位解缠误差等好处。在本节中我们将在用于执行分类的模型基础上添加定位输出。我们还尽力确定是否可以通过继续使用合成数据来完全避免收集标记数据的开销。 我们通过分割模型的全连接部分来实现分类和定位从而产生两个不同的输出。一个输出以第2节中描述的方式返回输入数据的类别而第二个输出返回场景中任何变形的位置。在机器学习术语中这种类型的模型被称为双头模型我们随后将两个输出及其相应的前置层称为分类头或定位头。图5显示了这两个头部的结构在VGG16的第五个块的输出被展平后它们是如何分开的。定位头的结构类似于Simonyan和Zisserman2014描述的模型其中模型通过输出包含四个值的列向量来传达任何变形的位置。其中两个值确定了变形模式的中心另外两个值显示了其水平和垂直范围。这四个值可以一起用于构建一个包围变形模式的框。 图 5我们的分类和定位 CNN 的结构。输入的干涉图首先通过 VGG16 的前五个卷积块进行转换从尺寸 (224 × 224 × 3) 变换到尺寸 (7 × 512)。然后将它们展平以创建一个包含 25088 个神经元的大型全连接层该层连接到上部分/头部执行分类以及下部分/头部执行定位。我们发现定位问题比分类更复杂因此我们的定位分支/头部具有更多的层每个层包含更多的神经元。定位头的输出是一个包含四个值的向量确定变形的位置和大小而分类头的输出是一个包含三个值的向量表示每个类的概率并总和为一。
然而我们发现使用与分类头相同复杂度的全连接网络无法达到令人满意的定位性能因此需要增加定位头全连接网络中层的数量和大小。为了减少开发和测试可能的定位头所需的时间我们进行了机器学习文献中所谓的“bottleneck learning”。这首先涉及通过VGG16的前五个块将整个数据集传递一遍然后仅训练我们网络的全连接部分即两个头部。这种方法非常高效因为我们通常不希望更新VGG16的卷积块中的权重但是通过这些块传递数据的计算成本很高。通过仅通过卷积块一次传递数据然后在更新这些层中包含的权重时只重复数据相对廉价的传递我们可以节省大量时间和计算资源。实验发现能够实现良好性能的最简单模型由五层组成分别包含2048、1024、512、128和4个神经元。 在训练我们的模型时我们使用预测位置向量与标记位置向量之间的均方误差作为我们的定位损失函数我们的目标是将其最小化。当使用三角秒像素约90米并且使用这种类型的损失函数时400个像素的均方误差将对应着定位错误大约是√400 20像素或∼2公里。然而当使用双头网络进行训练时训练变得复杂因为模型的整体损失现在是分类和定位损失的组合必须使用一个超参数来平衡这个超参数通常被称为损失权重。我们尝试了这个超参数并发现分类损失为0.95定位损失为0.05的值在两个输出之间提供了很好的平衡。这个值适用因为定位损失明显大于分类损失但通过不平等地对它们进行加权它们会近似地对整体损失做出相等的贡献。类似于设计一个定位头首先计算瓶颈特征可以大大减少用于微调这个超参数所需的重复模型运行的时间。 图6展示训练过程中分类和定位模型的性能。训练和验证损失曲线没有显示出验证损失的特征最小值表明存在过拟合。为了提高网络性能在第10个epoch后更改了学习策略将卷积块与全连接层一起更新。然而直接使用像Nadam这样的优化器恢复训练会导致精细调整的数值迅速被破坏。转而使用随机梯度下降SGD并手动设置学习率有助于解决这个问题。尽管增加了复杂性验证定位损失从约800降至约700像素分类准确率从约0.8提高到约0.85。 图6使用合成数据训练双头模型的总结。上图显示了分类头的准确率而下图显示了定位头的损失函数。在第九个epoch之后由垂直虚线标记优化器从Nesterov AdamNADAM切换到了随机梯度下降SGD并手动选择了学习率并解冻了VGG16的第五个卷积块中的权重。这个额外的学习阶段使得验证数据的定位损失从约800降至约700并且验证数据的分类准确率从约0.80提高到约0.85。
图7展示将训练好的分类和定位模型应用于随机选择的测试数据的结果。大多数分类是准确的定位也大致正确。在整个测试集上分类准确率为0.89而定位损失约为700。注意不报告分类损失因为它比准确率不太有用。然而在定位中准确率并不具有意义因为它是一个回归问题旨在逼近连续值。定位损失对应于约2.6公里的平均误差。 图7我们的分类和定位CNN在合成测试数据上的结果。变形单位为厘米黑色的类别标签和位置框是根据合成数据生成的跨越超过5厘米变形的区域而红色则表示CNN预测的区域。由于模型为每个标签输出一个概率因此这些概率被包含为每个预测类别的小数。对结果的检查显示在所有随机选择的情况中定位基本正确而分类是正确的。图2的干涉图被错误地分类其中有一个相对强的湍流大气相干斑点在空间上相关的噪声中可见以及一个延伸到不相干区域的变形模式这可能解释了错误的分类。 2应用在真实数据 虽然前一节中描述的模型在分类和定位合成干涉图中的变形方面表现良好但为了用于自动检测算法我们需要我们的CNN能够处理Sentinel-1数据。这些数据对于火山监测非常重要因为欧洲空间局的数据政策确保Sentinel-1数据能够快速、免费地获得而较低的重访周期确保了大多数陆地火山至少每12天被成像一次。为了测试我们的模型与Sentinel-1数据的配合情况我们将我们的CNN应用于一组52个干涉图对其中的变形进行了耗时的标注。然而在一些示例中对于复杂的变形模式分配单一类别是困难的因此我们将其分配给我们认为是主要类别同时期望网络应该对其他类别也有一定的概率分配。这在图8中跨越2015年Wolf火山厄瓜多尔加拉帕戈斯群岛喷发的干涉图中的干涉图七、九和十中最为明显这些干涉图中的信号被归因于裂缝的膨胀和裂缝的张开。 Figure 8: 我们在 Sentinel-1 干涉图测试集上使用合成数据训练的分类和定位 CNN 的结果。标注如前图所示注意变形以厘米为单位但黑色标签是手动创建的。对这些结果的检查显示它们在标签和定位方面都有所不同有些情况下标签和定位都大致正确例如3、10有些情况下定位正确但标签不正确例如2有些情况下标签正确但定位不正确例如6以及标签和定位都不正确例如4。干涉图 0 - 1 显示 Campi Flegrei2 显示 Agung3 - 5 显示 Sierra Negra6 - 10 显示 Wolf11 显示 Cerro Azul。 使用的干涉图来自作者本研究创建的时间序列集合或者来自 LiCSAR自动处理(https://comet.nerc.ac.uk/COMET-LiCS-portal/)其中包括Campi Flegrei、Agung、Wolf、Sierra Negra 和 Alcedo 火山。我们使用 Goldstein 滤波器(Goldstein 和 Werner, 1998) 对干涉图进行滤波使用 SNAPHU (Chen 和 Zebker, 2001)进行相位展开并且屏蔽了平均相干性低于 0.7 的像素。对于加拉帕戈斯群岛的火山Wolf、Sierra Negra 和 Cerro Azul一些 12 天的干涉图中可见变形但在 Campi Flegrei 火山变形信号更为微妙我们需要手动创建时间基线为24/36/48/60 天的干涉图才能在单个干涉图中看到变形。Agung 火山的变形信号被归因于一条岩浆管的开张Albino等人2019但由于这一事件的短暂性这种变形只在相对较少数量的“daisy chain”短时间基线干涉图中可见。为增加可用的干涉图数量我们再次制作了一系列跨越该事件的24/36/48/60 天干涉图。 图 8 显示了我们训练的分类和定位模型应用于近似随机选择的 Sentinel-1 干涉图的结果。诸如干涉图 3 的干涉图显示 Sierra Negra 火山的明显膨胀信号并且被 CNN 正确分类同时定位也基本正确。其他有希望的结果包括将三个 Wolf 火山的共喷干涉图七、九和十标记为含有 sill这也被很好地定位。然而有些干涉图分类不佳比如干涉图零中看到的微妙信号。我们 CNN 的两个头部的分歧性也导致它们之间的输出显示出不一致。干涉图 11 就是一个例子其中它被正确地分类为不含变形但却显示了错误的定位输出。 在考虑整个真实数据的测试集时分类准确率为0.65而定位损失约为2017。我们将在第 4 节更全面地讨论该模型的结果但在接下来的部分中我们将通过在训练阶段包含真实数据来提高我们模型的性能。 3用Sentinel-1数据增强训练数据 为了进一步提高模型的性能我们希望将真实数据纳入训练中。我们通过重新访问上一节提到的时间序列并标记了另外 173 个干涉图用于训练同时保留原始集合进行进一步测试。值得注意的是其中大部分只包含大气信号因此标记它们比包含形变并需要四个定位坐标的标记要少得多。然而之前的模型使用了 20000 个合成干涉图进行训练而新增了 173 个干涉图不太可能对模型产生重大影响因为即使这些干涉图的分类较差损失函数也只会略微增加。因此我们应用了数据增强技术包括对干涉图进行随机翻转、旋转和平移以将我们的真实训练数据扩展到20000 个虽然通常高度相关的 Sentinel-1 干涉图。 Figure 9显示了将我们的 CNN 应用于第 3.2 节中使用的相同测试干涉图集合的结果。检查结果显示了极大改善的定位效果在干涉图零、二和三中出现了非常小的误差。在这些干涉图的选择中不存在误报即被标记为岩脉和裂隙的“无形变”情况但出现了几种漏报情况例如干涉图 4、7、9 和 10即被标记为“无形变”的岩脉和裂隙情况。干涉图 4 的误分类可能是由于形变信号的幅度相对较低与干涉图 3 相比而干涉图 7、9 和 10 具有跨越 2015 年 Wolf 火山喷发的复杂信号被认为是由于岩脉体积变化和岩浆向地表传播而引起的Xu 等人2016年。由于模型没有在包含多个形变信号的数据上进行训练因此当遇到这种情况时出现的错误表明可能需要进一步工作以纳入更复杂的形变模式更好地反映火山上发生的过程。考虑整个真实训练数据集性能现在有所提高分类准确率提高到了0.83而定位损失降低到了522。表1更详细地比较了两个模型考虑了每类干涉图的分类准确率和定位损失。 Figure 9将真实数据纳入训练后我们在 Sentinel-1 干涉图的测试集上使用我们的分类和定位 CNN 的结果。标签约定和干涉图与图 8 中相同。可以看出这个模型的性能优于仅使用合成数据训练的 CNN具有改善的分类和定位效果。然而仍然存在一些错误例如干涉图 4 的隆起信号相对较微弱与之前的其他信号相比在 Sierra Negra 2018 年喷发之前被模型分类为“无形变”而干涉图 9 的复杂的共喷信号没有被准确定位或分类。
分析
1在后续实验作者采用三通道解缠的合成数据来训练分类网络且给分类网络一个定位输出实现多任务。 2bottleneck learning是机器学习领域的一种技术通常用于加快深度神经网络的训练速度和降低计算成本。在使用深度神经网络进行训练时网络的前几层通常是卷积层通常需要处理大量的数据和参数因此计算成本较高。瓶颈学习的思想是先将数据通过网络的前几层然后冻结这些层的参数只训练网络的后几层通常是全连接层。 3作者的多任务网络要求其需要使用两个损失函数同时因为作用的是一个网络因此需要引入一个损失权重来调和两个损失函数的贡献。后续可以尝试。 4作者以2015年Wolf火山厄瓜多尔加拉帕戈斯群岛验证在合成数据上的训练效果。我觉得我之前没有做出来很大可能是数据模拟这块没做好再就是将之前单通道输出改为三通道复制两份解缠相位然后再做一下。这篇文章的阅读对我最大的作用是学会其数据模拟方式。 5作者创建的是时序数据这个会不会也影响着实验精度。后续可以尝试时序数据记得NC那篇也是用的时序数据 6作者后续还是选在在训练集中引入真实的数据来提高精度。
4 结论重点
原文翻译
在第2节进行的分析中我们得出结论即通过将DEM纳入我们的CNN中无法通过将其作为多通道数据中的一个通道来实现。这可能是因为我们模型中的前五个卷积块的权重是从VGG16转移过来的而VGG16是使用自然图像进行训练的因此需要在所有三个通道上都广泛相似的输入。然而通过从头开始训练分类和定位模型中卷积块的权重的方法可能很容易地允许在不同的输入通道中添加额外的数据。如果这种方法不可行那么诸如DEM之类的信息最好通过使用双输入模型来纳入在这种模型中一组卷积滤波器应用于相位信息而另一组卷积滤波器应用于DEM。然后这两个网络可以在完全连接的阶段合并方式与我们的完全连接模型分成两个输出的方式类似。如果这种方法成功还可以提供一种方法来向模型添加更多输入例如天气模型输出的输入这可能会减少因出现诸如强地形相关的APS之类的情况而导致的误报。然而从头开始训练模型的权重和探索更复杂的多输入模型架构仍超出了本研究的范围。 图8中呈现的结果表明仅使用合成数据训练的模型能够在Sentinel-1数据中对变形信号进行分类和定位。然而在具有特别清晰变形模式的情况下才能成功而在信号较为微弱的情况下通常会错误地将其标记为不包含变形。通过使用更真实的合成数据这两个限制可能都可以克服。生成更真实的变形模式可以通过诸如在生成变形模式的前向模型中更智能地采样使用的参数、使用不同类型的变形模型如点状裂缝以及在单个干涉图中叠加多个变形模式等步骤来实现例如在Sierra Negra火山2005年喷发前观察到的情况。生成更真实的大气信号可以通过增加合成数据的复杂性来实现例如通过使用非线性或空间变化的相-高比或者通过使用不同来源的数据。可以利用拍摄到的几乎没有变形的区域的干涉图来增加“无变形”数据集的复杂性或者将其与合成变形模式结合起来生成更复杂的半合成数据。 图9呈现的结果显示了将真实数据纳入模型的好处。然而仍然存在许多改进的空间本图中可见几个分类和定位错误。大多数定位错误要么是在变形信号很轻微的情况下例如图9中的干涉图四要么是在跨越Wolf火山2015年喷发的干涉图中。在前一种情况下存在一个自然的信噪比阈值在此阈值以下方法无法识别感兴趣的信号这些干涉图似乎代表了这一点。在后一种情况下所涉及的干涉图包含复杂的变形模式因为既有裂缝的开启又有岩浆从火山口下方的岩床中移除Novellis等2017年包含多个变形模式的真实或合成训练数据可能可以缓解这一缺陷。 我们网络中两个头部分类和定位的差异性也导致它们的输出存在差异。这在图9的干涉图10中可以看到在这幅图中定位头产生了一个大体上正确的输出但信号被错误地标记为“无变形”尽管置信度相对较低。然而我们推测可以通过使用更复杂的模型架构来避免这种类型的错误。诸如YOLORedmon等2016年之类的模型一步生成边界框和分类并且具有能够处理包含多个信号的图像的额外优势。如果成功应用于干涉图具有这种复杂性的模型可能会避免我们遇到的差异性错误并且能够处理包含多个变形模式的干涉图。 我们的定位方法避免了使用滑动窗口方法进行重复分类的需要并允许我们的网络使用整个图像进行推理。虽然这种方法在推动最新技术向人类解释者的水平发展方面是有益的但仍存在一个警告即构建一个能够利用大型干涉图的网络可能会很复杂。在我们的模型中我们使用三秒弧的像素大小并且通过输入尺寸为224×224得到的模型能够“看到”火山周围约20公里的范围。如果我们希望以这种分辨率继续进行我们的模型的视野可以通过将输入尺寸更改为约400×400来增加这不会影响我们使用VGG16的滤波器或卷积块的能力但会增加我们网络完全连接部分的第一层的大小。
分析
1作者的工作是使用ImageNet预训练权重进行的因此他认为输入迎合RGB三通道的方式会更好。 2作者没有从头训练以及探索更复杂的多输入加入天气模型但是值得考虑。 3对于纯粹的使用合成数据训练可识别的情况有限。作者认为可以通过增加合成数据的复杂性来解决实质上就是让模拟的更加真实。
《Blind Signal Separation Methods for InSAR: The Potential to Automatically Detect and Monitor Signals of Volcanic Deformation》
M. E. Gaddes合成数据的原理
1 摘要
原文翻译
有大约1,500座火山具有喷发潜力但大多数都没有受到仪器监测。然而哨兵-1卫星的例行获取现在满足了干涉合成孔径雷达InSAR从回顾性分析工具向全球近实时监测工具的需求。然而全球监测产生了大量数据因此需要一个能够在一系列干涉图中识别新的变形迹象或变形速率变化的自动检测算法。基于干涉图时间序列中的大部分信号可被视为几个潜在源的线性混合我们探索了使用盲源分离方法来解决这个问题。我们考虑了主成分分析和独立成分分析ICA这两种方法先前已应用于InSAR数据以及非负矩阵分解这是一个新的方法。我们对这三种方法进行了系统分析结果表明ICA最适用于大多数InSAR数据应用。然而在ICA的降维步骤中必须小心不要移除重要的较小幅度信号。我们将ICA应用于the 2015 Wolf Volcano eruption厄瓜多尔加拉帕戈斯群岛并自动分离出三个信号这些信号与其他研究中手动识别的信号大致相似。最后我们基于ICA开发了一个原型检测算法用于识别喷发的开始。
分析
1作者在这篇论文中介绍了使用ICA来分离火山形变信号的工作其中通过之前文章介绍会详细解释如何进行数据合成。这篇文章给我们的最大帮助在于如何合成数据。
2 要点
原文翻译
**独立成分分析ICA**是一组盲源信号分离方法中最适用于InSAR数据的方法。在the 2015 Wolf Volcano eruption期间可以使用独立成分分析自动分离出地球物理感兴趣的信号。通过监测ICA恢复的信号的变化可以自动检测到火山的不稳定迹象。
3 简明语言总结
原文翻译
通过监测火山我们可以发现它们可能在未来爆发的迹象然而世界上许多火山仍未被监测。然而最新一代的雷达卫星定期测量了世界上大多数火山周围的地表位移这些测量数据可以用来检测以前未被监测的许多火山的不稳定迹象。由于这项工作产生的数据量巨大因此需要一种自动检测算法来检测这些感兴趣的信号。在这项工作中我们提出了一些方法以分离与火山不稳定有关的信号和其他干扰信号并监测地球物理上重要的信号以检测火山是否进入了不稳定期。
4 引言
原文翻译
世界上大约有1,500座陆地活火山它们存在各种地球物理威胁从像火成碎屑流这样的局部危险到像火山灰云这样的广泛危害。科学家使用各种方法和工具包括地震学、卫星成像和气体分析来检测火山活动的迹象并评估相关风险。然而由于部署监测设备涉及的后勤和成本限制大多数火山没有定期监测。因此许多潜在的危险未被观察到突显了更具可访问性和经济效益的监测解决方案的必要性。 **合成孔径雷达干涉测量InSAR**测量地表位移的能力允许限制火山侧斜和周围地区的变形例如Pinel等人2014年以及其中的参考文献并且这些位移测量可能是火山不稳定的宝贵指标可能导致火山喷发Biggs等人2014年Ebmeier等人2018年。因此一颗具有合适获取策略的卫星可以提供测量数据从而监测全球所有陆地火山的情况。 直到最近InSAR并不适合实时全球监测因为2015年之前运行的合成孔径雷达SAR卫星很少定期在地球物理感兴趣的区域获取图像而且数据通常要在获取后几天才能获得。然而欧洲空间局最新的SAR卫星Sentinel-1星座已经解决了先前列出的限制并使InSAR从一个回顾性分析工具发展成为可以用于近实时监测的工具。使这成为可能的其他进展包括建立新的处理设施以自动快速地为全球大部分地区创建干涉图例如González等人2016年Meyer等人2016年以及新的方法用于在创建新的干涉图时快速更新时间序列例如Spaans和Hooper2016年。 然而利用来自Sentinel-1卫星的数据监测世界上的地表活跃火山产生了太多的干涉图以至于它们无法手动检查是否存在迹象表明可能发生火山活动。因此我们提出了一项工作的结果即 构建一种算法用于自动检测给定火山时间序列干涉图中的不稳定迹象。为了避免标记数据的耗时性例如手动检查干涉图并分配包含变形等信息我们的算法必须是一种 无监督的算法即训练数据未标记。无监督学习算法的一类被称为 盲信号分离BSS 方法其中的一种方法独立成分分析[ICA]已经被Ebmeier2016年用于从InSAR时间序列中分离出地球物理感兴趣的信号。因此我们旨在基于BSS前提构建一种算法即从干涉图的时间序列中提取感兴趣的潜在源。 然而由于 独立成分分析ICA 是一套BSS方法之一我们努力确定哪种方法最适合InSAR数据。我们首先通过介绍几种BSS技术的基本原理第2节解释我们将一种新的BSS方法应用于InSAR数据的新方法第9节并比较应用几种BSS方法到 合成数据集 的结果第10节。在第17节中我们通过使用两个Sentinel-1干涉图的时间序列验证选择的方法是否适用于真实数据然后在第20节描述并演示我们的原型自动检测算法。
分析
1陆地活火山监测的重要性 2InSAR技术的优势 3Sentinel-1为监测提供便利 4本文想要构建一种无监督算法用于自动检测给定火山时间序列干涉图中的不稳定迹象 5在算法验证方面采用了合成数据集和真实数据集共同验证的方式。
5 Organizing and Synthesizing Data重点
原文翻译
在考虑如何应用NMF、PCA和ICA之前我们首先必须将一系列的干涉图转换为这些方法可以应用的形式。这三种方法考虑了多个变量的多次观测的统计信息因此不需要保留像素或干涉图之间的空间或时间关系。因此只要这种重新组织是一致的时间序列中包含的信息就可以转换为行或列向量。我们还参考了空间图的时间历史可以是一个像素大小或更常见的是一个潜在源大小作为时间序列这是BSS文献的风格。 在空间组织中每幅图像包含单个随机变量的多个实现随机变量的数量等于图像的数量而在时间组织中每个像素是一个随机变量观测次数与图像数量相同。在这项工作中我们遵循BSS文献的惯例将变量放置为数据矩阵中的行每个变量的每次观察占据一个新的列。因此对于包含 t 幅干涉图像的时间序列每个具有 p 个像素的干涉图像我们的数据矩阵对于空间组织为 t × p对于时间组织为 p × t。在欧几里得空间中空间组织的时间序列可能包含 101–102 幅干涉图像并且需要具有相等维度的空间而对于时间组织一幅干涉图像可能包含 103–107 个像素并且需要非常高维度的空间。图1展示了空间和时间组织的差异以及前一节描述的非混合向量如何被解释。由于干涉图像的数量控制了在数据被时间组织时的数据点数量因此一个假设的仅包含三幅干涉图像的时间序列将提供一个非常稀疏的空间进行分析并且相当于图1中的散点图仅具有三个数据点。 为了介绍和比较PCA、ICA和NMF我们使用方程2生成了一个合成时间序列其中一个矩阵A或S包含两个合成InSAR信号的空间模式而另一个矩阵包含每个空间模式对每个干涉图的贡献强度称为时间序列。为了生成空间组织的数据我们假设空间图是统计独立的因此将它们放置在S中而对于时间组织的数据我们假设时间序列是统计独立的因此将它们放置在S中。我们选择了两个合成InSAR信号一个是由于火山活动引起的地表变形另一个是由于地形相关的大气相位移因为已经证明分离这类信号是重要的。 两个合成信号的空间模式如图2所示由于这些是当数据以空间方式组织时的源因此提供了恢复它们的挑战的见解。该区域对应于意大利的坎皮弗莱格雷其中大气信号中显示了亚空间火山口壁。地表变形是通过模拟在弹性半空间中膨胀的点源来创建的Mogi, 1958因为这已被成功用于模拟坎皮弗莱格雷的变形观测Lundgren et al., 2001并且根据所有使用的测量指标都是强烈的非高斯分布。地形相关延迟的空间模式是通过假设每个像素的相位和海拔之间存在线性关系来合成的使用了Shuttle Radar Topography Mission (SRTM) 30-m数字高程模型DEMFarr et al., 2007。
分析
在考虑如何应用NMF、PCA和ICA之前我们首先必须将一系列的干涉图转换为这些方法可以应用的形式。这三种方法考虑了多个变量的多次观测的统计信息因此不需要保留像素或干涉图之间的空间或时间关系。因此只要这种重新组织是一致的时间序列中包含的信息就可以转换为行或列向量。我们还参考了空间图的时间历史可以是一个像素大小或更常见的是一个潜在源大小作为时间序列这是BSS的风格。 这些行向量的形成方式具有重要的影响因此在BSS中这两种不同的方法被称为体系结构I和体系结构IIBartlett等人2002年。然而当应用于InSAR数据时这种命名方法不够清晰我们将体系结构I称为空间组织因为当ICA应用于体系结构I数据时恢复的潜在源是空间独立的。当ICA应用于体系结构II数据时发现的潜在源是时间独立的因此我们将体系结构II称为时间组织。
Identification of Surface Deformation in InSAR Using Machine Learning
1 摘要
合成孔径雷达SAR图像的可用性和频率正在迅速增加。这一数据激增为约束涵盖各种空间和时间尺度的地表变形提供了新的机会。这种扩展也引入了与大数据量相关的常见挑战包括分析这些数据的最佳实践。近年来机器学习技术一直处于应对大数据挑战的前沿作为一种自动分类大量数据的高效方法。卷积神经网络CNN特别是在图像分类问题上取得了强大性能。在这里我们介绍了SarNet这是一个用于检测、定位和分类干涉图中类似于震中的地表变形的CNN。我们使用了400万个合成干涉图对SarNet进行了训练其中包括缠绕和未缠绕的类似于震中的地表变形以及代表合成干涉图中的大气和地形噪声的合成噪声。结果表明SarNet在验证数据集上获得了99.74的总体准确率。我们使用类激活图CAM来展示SarNet返回了干涉图中地表变形的位置。我们采用迁移学习方法将SarNet在合成数据上训练的准确性转化为在手动分类的震中表面位移的真实干涉图上的结果。我们在包含标记的震中表面变形和噪声的32个干涉图上对SarNet进行了训练。结果表明通过迁移学习SarNet在真实InSAR数据集上获得了85.22的总体准确率并且SarNet返回了干涉图中地表变形的位置。
2 要点
• 使用合成干涉图来训练CNN解决了训练数据集的问题。
• 用合成数据训练的CNN表现优于仅使用真实数据训练的CNN。
• 使用合成数据集训练的CNN达到了最终的PPVpositive predictive value为82。
• 应用大气校正可将检测性能提高到100的PPV。
3 引言
**合成孔径雷达干涉InSAR利用返回卫星的雷达波相位的差异生成地表变形图。**统计上火山变形与火山喷发有统计学联系Biggs等人2014并且与其他卫星方法不同它主要在喷发前被检测到Furtney等人2018。这可以让火山学家监测大范围和偏远地区的火山活动这在专业知识和地面监测设备不足的发展中国家尤其有价值。当代卫星如Sentinel-1提供全球覆盖、更短的时间跨度和高分辨率图像。这导致了大量的数据使得手动检查变得不可行。
InSAR图像即干涉图包含了火山变形和大气雷达路径的贡献。大气效应可能会掩盖变形信号Parker等人2015Ebmeier等人2013Pinel等人2014使得基于简单阈值的自动检测方法不切实际。可以应用大气校正基于外部数据源如气象模型、GPS对流层延迟或通过将相-高程相关或时间序列应用于统计方法例如Bekaert等人2015Li等人2005Jolivet等人2014。然而这些方法在应用于大型数据集时耗时较长通常无法实时应用或应用于缠绕数据。盲源分离技术如独立成分分析ICA有潜力自动分离不同信号从而更容易检测到变形部分的变化Ebmeier2016Gaddes等人2018但目前只在少数案例研究中进行了测试。
深度卷积神经网络CNN一类受到深层次神经元连接多层可学习滤波器的复杂分层结构启发的神经网络Krizhevsky等人2012-是自动分析全球数据集的可行方法之一。我们之前的“概念验证”研究证明了CNN能够检测到在包裹干涉图中产生多个条纹的快速变形系统Anantrasirichai等人2018但在少数情况下无法可靠地区分变形信号和大气效应。我们的方法是利用机器学习来研究大量缠绕干涉图的数据集识别出要应用展开算法和大气校正的图像子集。通过减少假阳性数量来提高算法的效率从而减少了展开和大气校正的需求。
CNN需要平衡的数据集进行训练否则算法可能会对特定案例过度调整Yan等人2015。对于这个应用来说这是一个挑战因为很少有自动生成的干涉图包含重要的变形信号-大多数是短期的并覆盖着没有变形的火山或者变形缓慢的火山。例如Anantrasirichai等人2018使用了由LICSAR系统产生的3万多个Sentinel-1干涉图的数据集该系统覆盖了全球约900座火山但仅包含42个显示出变形信号的干涉图。训练数据集的不平衡可以通过人为地对训练集进行子采样或过采样来缓解。Anantrasirichai等人2018使用了程序化数据增强来增加变形样本的数量方法是在现有的正样本上应用转换即旋转、翻转、扭曲和像素位移。然而即使进行了增强类内不平衡问题仍然存在Japkowicz2001因为使用有限数量的变形样本无法概括全球火山变形的特征。
在本文中我们旨在通过使用合成数据来克服训练数据不平衡问题提高CNN模型区分变形信号和大气效应的能力。合成干涉图由三个主要组成部分生成即地表变形、分层大气和湍流大气。合成变形信号使用简单的弹性源生成例如地震、岩脉、岩床和岩浆室中的点压力变化Mogi1958Okada1985Fialko等人2001。分层大气干涉图来自于Generic Atmospheric Correction Online ServiceGACOSYu等人2018a而湍流大气干涉图则是利用真实干涉图中相关噪声的统计特性进行模拟Lohman和Simons2005Biggs等人2007。分类方法通过微调预训练的CNN网络采用迁移学习策略来开发。
4 CNN和训练集的问题
机器学习ML是一种流行的数据分析方法它可以自动将输入模式区分为已学习或定义的类别。用于图像分类和识别的最受欢迎、也可能是最强大的ML工具是深度卷积神经网络CNNs。这些数据驱动的方法是分层特征学习方法可以直接适应大多数特定应用无需手动提取特征。然而CNNs的主要缺点是最有效和成功的模型需要大量标记数据的训练集。
4.1 CNN
卷积神经网络CNNs是一类深度前馈人工神经网络。它们由一系列卷积层组成旨在利用2D结构例如图像。这些卷积层采用局部连接层将预定义大小的内核与内部信号进行卷积即卷积层的输出是通过滤波器修改的输入信号。滤波器的权重使用损失函数和反向传播错误的反向传播进行调整通过多次前向和后向迭代来确定被检测到的特征与训练数据的性质相关联。早期的层提取类似于主要视觉皮层中发现的视觉基函数的低级特征。
CNN的最常见架构将卷积层连接到池化层池化层将一个层中的神经元群的输出合并为单个神经元。一些架构省略了池化层以获得密集特征。随后激活函数如双曲正切tanh或ReLU修正线性单元被应用于向网络引入非线性。这种结构使用相似或不同的内核大小重复。因此CNN学习从第一层的原始像素中检测边缘然后使用边缘在下一层检测简单的形状例如。较高的层产生更高级别的特征具有更多的语义含义。最后几层是分类部分。它由一些全连接层组成这些层与上一层中的所有激活之间有全连接并且具有softmax层其中输出类被建模为概率分布 - 将输出指数化以在0到1之间进行缩放也称为标准化指数函数。
4.2 数据集不平衡和解决方式
在分类中数据不平衡问题发生在数据集具有倾斜的类分布时即大多数数据实例属于一类而其他类的实例数量远远较少。这导致分类器算法对具有更多实例的类具有偏向性并倾向于预测多数类数据。少数类的特征被视为噪音通常被忽略。虽然深度CNN方法在许多应用中通常比传统的机器学习方法表现更好但在数据不平衡的数据集上它们的性能可能会更差。
已经提出了许多方法来创建平衡的数据分布这些方法可以分为两大类修改学习算法和数据操作技术。第一组修改现有的算法以更加强调少数类。这可以通过使用成本敏感学习来实现该方法为少数类样本分配较高惩罚的成本Thai-Nghe等人2010年。应用代表每种错误分类成本的成本矩阵并且结果是最小期望成本的类由所有类概率估计的加权成本矩阵总和描述。然而通常很难为此方法优化成本矩阵。第二组尝试重新平衡训练数据的类分布。典型的方法包括对多数类进行下采样对少数类进行过采样或两者都进行。这一组更受青睐且更简单因为唯一需要更改的是训练数据而不是学习算法。下采样的缺点是忽略了大多数类中的许多数据实例这可能导致信息的丢失。相比之下合成少数过采样技术SMOTE是一种强大的方法它从现有数据中创建合成数据点。
然而这些方法都不适用于InSAR数据集中的变形分类问题。显示变形的干涉图像数量约占所有获取的干涉图像的0.15%如果以像素计算则正负面积的比例仅为1:15,000。Anantrasirichai等人2018年使用的全球数据集涵盖了2016年至2017年间900多座火山但只有4座火山发生了变形分别是Cerro Azul、Sierra Negra、埃特纳和Erta Ale。这意味着所有现有方法可能会导致过度拟合因为已知的地面变形特征不足以代表全球范围内各种火山的变形。因此我们建议生成合成数据来提高分类性能使用能够很好地代表现有数据但又灵活到可以生成更广泛的可能信号的建立模型。
4.3 生成合成训练数据
**CNNs是数据驱动的方法因此使用适当的数据对网络进行训练至关重要。**在本文中我们使用现有模型创建合成示例分别是a) 变形、b) 分层大气工件和c) 湍流大气工件。我们使用蒙特卡洛方法来选择参数值从而包括被认为是可行的但实际上尚未观察到的情景。生成的合成训练数据集应比真实数据集具有更好的泛化性。
InSAR产生两个时间间隔的雷达图像之间的相位变化图。相位偏移是以下因素的组合i卫星观测几何、ii仪器热噪声、iii大气延迟、iv介电性质的系统变化、v像素的散射特性、以及vi地表变形例如Bürgmann等人2000年Biggs等人2007年Ebmeier等人2013年。大气延迟可以分解为大气分层和湍流混合Hanssen2001年。第一个组件导致与地形相关的相位延迟而第二个组件通常被认为是空间和时间上的随机模式其在大约10公里的距离上具有空间相关性Hanssen2001年。
我们为考虑的三个组件分别生成了10,000个合成图像即变形D、分层大气S和湍流大气T。每个图像代表一个跨越∼ 0.5°纬度和经度的区域相当于Sentinel-1数据集的图像分辨率为500 × 500像素。图1显示了D、S和T的示例合成图像转换为缠绕图像。合成数据生成的方法如下所述。 图1. 用于生成合成干涉图的合成组件以弧度的包裹角度显示大小为500×500像素。第1列和第2列显示不同类型的变形。第3列和第4列显示来自相同位置从上到下的行依次为Tungurahua、San Miguel和Erta Ale的弱和强分层大气使用Generic Atmospheric Correction Online Service (GACOS)获取。第5列从上到下显示湍流大气强度逐渐增加。
形变合成
我们使用广泛采用的解析解描述与嵌入在弹性半空间中的简单几何源相关的地表变形来合成变形信号D。我们采用蒙特卡洛方法选择源参数并将三维地表位移投影到与卫星视线的夹角为0°–45°和方位角为0°–360°的接收角度中。由于CNN对方向不敏感因此这代表了源与视觉几何之间最广泛的角度范围。对于岩浆室的膨胀和收缩我们采用了莫吉Mogi模型Mogi, 1958深度为1–10公里体积为105–10 7立方米。对于类似岩浆侵入的横向岩浆我们使用水平圆形硬币形状裂缝模型Fialko et al.2001半径为0.5–6公里压力变化为105–10 7帕斯卡深度为0.5–6公里3。由于地震岩浆管和水平岩浆的变形是使用岡田Okada1985错位模型进行建模的该模型描述了剪切和张力错位。地震被分配在0°-360°范围内的走向倾角为45°–90°刮风为0°–360°长度为0.5–10公里深度为1–15公里滑动为0.5–2米。岩浆管被分配在0°–360°范围内的走向倾角为45°–90°长度为2–8公里深度为1–5公里开启 1米。水平岩浆被分配在0°–360°范围内的走向倾角为0°–10°长度和宽度最多为5公里深度最多为6公里。
分层大气合成
我们使用通用大气校正在线服务GACOS基于天气模型数据来建模分层大气SYu等人2017, 2018a,b。从欧洲中期天气预报中心ECMWF生成的高分辨率水汽延迟0.125°和6小时分辨率派生出天顶总延迟ZTD地图。GACOS使用迭代对流层分解ITD模型Yu等人2017从对流层总延迟中分离分层和湍流信号并将最终的ZTD地图插值到90米空间分辨率和获取时间使用航天飞机雷达地形任务SRTM的数字高程模型DEM。我们从2016年1月1日开始每隔12天为每个代表性的火山生成100个GACOS对流层延迟地图。我们通过应用代表Sentinel-1入射角的标量因子来考虑天顶和卫星视线之间的差异。
湍流大气合成
湍流大气延迟T是空间相关的其协方差可以用指数衰减函数描述。为简单起见假设大气的统计特性是径向对称的并且在干涉图上具有均匀的结构。一维协方差函数为其中cij是像素i和j之间的协方差dij是像素之间的距离是最大协方差κ是衰减常数相当于指数折叠波长的倒数。我们可以从真实的干涉图中估计这些参数根据所有可用的30,249个Sentinel-1干涉图我们采用5–9 mm²的 和4–18 km的 κ。我们使用这些分布的蒙特卡罗样本生成合成方差-协方差矩阵并使用Cholesky分解生成具有相应统计特性的合成图像。
5 方法
提出的机器学习框架如图2所示采用卷积神经网络来识别InSAR数据中的火山变形。最初我们使用合成图像训练网络参见第4.1节。这些图像被标记为1或正表示其中包含了变形以及0或负表示其他组合。然后初始模型用于预测过程参见第4.2节新的干涉图被划分为重叠的补丁并且那些包含相位跳变的补丁被训练好的CNN模型进行测试。然后专家对结果进行检查模型进行重新训练并重复分类过程参见第4.3节。 图2显示了提出的框架分为两个部分(a) 训练过程和 (b) 预测过程。在训练阶段首先使用合成示例来训练CNN以获得初始模型。预测过程测试新的干涉图的patch并给出作为地面变形的概率P的输出这些概率与高斯权重合并。最后专家检查结果并将真正和假阳性包括在内以使用真实和合成示例的组合对CNN进行重新训练以获得更好的性能。
5.1 使用合成数据初始化模型
我们采用迁移学习策略即微调预训练的网络而不是通过将权重和偏差初始化为零或随机值来训练新网络。该方法的训练过程更快因为预训练网络的参数和特征已经通过大量和各种自然图像学习并且可以对其进行高达1000个类别的分类。在本文中我们的目标是将二分类为火山形变和非形变因此最后两层 - 全连接层和 softmax 层 - 被修改并且它们的学习速度明显比其他直接从预训练网络转移的层快。我们使用 AlexNet因为我们之前的研究表明它在这个应用中的性能优于其他预训练网络Anantrasirichai 等2018。AlexNet 包含五个卷积层和三个全连接层。第一、第二和第五个卷积层后面跟着最大池化层。每个卷积层和全连接层后面都应用了 ReLU。我们之前的工作发现验证准确率在大约30-40个epoch后趋于饱和一个时期是当整个数据集通过神经网络前向传播和反向传播因此我们将最大时期数设置为50。设置时期数过高可能导致过拟合并且可以使用提前停止来在验证错误开始增加时停止训练过程Goodfellow 等2016。整个数据集无法一次性输入神经网络因此将其分成多个批次。我们将批量大小设置为可用系统内存的最大值即100。softmax 层的输出是每个类别的预测概率。本文中符号 P 表示干涉图包含形变组分的概率。
我们使用每个组件D、S 和 T10,000 个合成示例来创建合成干涉图它们是两个或三个信号的总和权重相等或不相等即 aD bS cT其中 a、b、c ∈ [0,1]。图 3 显示了两个合成干涉图的示例包括一个困难的案例 A 和一个简单的案例 B。示例 A 和 B 都使用了 D因为火山岩浆室的体积变化为 107 m3深度为 5 km并且入射角为 30°但方向相反。A 是由于强大的湍流和层状大气条件而对分类造成挑战的案例。相比之下B 是一个更容易的案例因为地形相关的大气人工构件 S 很小。然后将合成干涉图裁剪到 CNN 的输入尺寸例如对于 AlexNetKrizhevsky 等2012为 224×224 像素并将其缠绕到区间 [−π,π]。为了进行机器学习我们将包裹的干涉图转换为灰度图像即将范围在 [−π,π] 内的像素值缩放到 [0,255] 或 [−125,125]如果需要进行零中心归一化。对于以下组合每个类别包含 10,000 个合成包裹的干涉图。
2 类模型模型使用 2 个类形变和非形变进行训练。我们通过将形变类别的信号 D S T 与非形变类别的信号 S T 进行组合来生成训练数据。对于每个组合信号都随机选择了组件 D、S 和 T。 3 类模型最初我们使用完全独立的 D、S 和 T 信号对 CNN 进行训练但这是对真实数据集的不良表示因此我们还使用了几种更现实的组合例如 D S、D T、D S T如表 1 所示。 91 类模型我们通过将三个组件组合成 I (αD βS γT) / (α β γ) 来生成加权干涉图I其中αβγ ∈ [0,0.25,0.5,0.75,1]。使用五个值变化三个权重会产生 91 种独特的组合从而得到 91 个类别类别 1 是 [α1 0β1 0γ1 1]类别 2 是 [α2 0β2 0.25γ2 0.75]类别 3 是 [α3 0β3 0.5γ3 0.5]……类别 91 是 [α91 1β91 1γ91 1]。然后我们采用多项式分类的方法进行权重估计。我们将每个组件的强度估算为多类问题模型输出每个类别的每个权重的概率 Pc {PαPβPγ}c。最终预测的权重 wfinal {αβγ}final 是 训练过程在布里斯托尔大学的高性能计算设施BlueCrystal phase 4上的图形处理单元GPU上运行。2 类、3 类和 91 类模型分别花费了大约 10、14 小时和 108 小时完成。结果如表 1 所示包括分类准确率Acc.和类别召回率RC其中 RCc 是第 c 类的召回率按照模型名称的顺序编号例如对于模型“DS vs S vs T”c 1 表示类别 DSc 2 表示类别 Sc 3 表示类别 T。所有模型在合成测试数据上表现良好准确率和类别召回率均超过 90%。
5.2 测试真实数据
接下来我们调查了使用与我们的之前研究相同数据集的真实干涉图像来训练合成信号的 CNN 的性能。这些 InSAR 数据是由欧洲航天局ESA运行的 Sentinel-1 雷达任务获取的并使用由地震、火山和构造观测与建模中心COMET开发的自动化 InSAR 处理系统 LiCSARhttp://comet.nerc.ac.uk/COMET-LiCS-portal/进行处理。我们的数据集包含 30,249 个干涉图像覆盖了 2016 年和 2017 年期间约 900 座火山。该数据集偏向于欧洲火山因为轨道周期最短每 6 天一次而且 LiCSAR 系统的运行时间最长2 年因此约占总可用图像的近 50%。LiCSAR 系统定期计算距离最近的三个组合的干涉图像形成了一组时间跨度逐渐增加的干涉图像三元组。每个干涉图像都被裁剪到以火山体为中心的经纬度跨度为 0.5° 的区域。从这个全球数据集中我们期望能够充分探索 InSAR 大气和形变信号的范围因为研究的火山位于不同的气候环境中例如温带、热带和干旱地区并且具有从陡峭的成层火山到盾状火山或火山口的不同形态。
在预测过程中我们将真实的干涉图像划分为与 AlexNet 所需的输入尺寸224 × 224 像素相匹配的重叠图块。每个图块的左上角位置然后重复地移动 28 个像素以覆盖整个图像。然后我们使用 Canny 边缘检测Canny, 1986来检测 -π 和 π 之间的相位跳变的位置。包含相位不连续的图块被馈送到训练有素的 CNN 模型中以获取它们代表地面形变的概率。在没有与相位不连续相关的强边缘的均匀区域中不太可能存在快速的火山形变。因此这些图块被立即定义为背景并且不被 CNN 测试Anantrasirichai et al., 2018。最后使用大小为 20 像素和标准偏差为 5 像素的旋转对称的高斯低通滤波器合并重叠图块的输出概率。最高的概率以及其位置被指示。表 1 显示了正确分类为包含形变真阳性TP、错误分类假阳性FP和误检测假阴性FN的 Sentinel-1 干涉图像的数量。实验表明干净的信号“D vs S vs T”和“D S vs S vs T”更容易分类但是通过它们训练的模型不适用于真实的干涉图像。在训练过程中将湍流大气 T 和形变 D 成分结合起来比结合成层大气 S 和形变 D 成分的效果更好即“D T vs S vs T”模型在真实数据上的表现优于“D S vs S vs T”模型。然而组合 D S T 信号的性能最佳因为它们的特征最接近真实的干涉图像。
《Application of machine learning to classification of volcanic deformation in routinely generated InSAR data》正在更新##########
《The application of convolutional neural networks to detect slow, sustained deformation in InSAR time series》正在更新##########
《A deep learning approach to detecting volcano deformation from satellite imagery using synthetic datasets》正在更新##########
2. 目标检测
3. Transforer 及改进模块ViT和Swin Transforer的原理和代码实现
4. 迁移学习
5. LiCSAR
