自己建网站卖东西好卖吗,辽宁建设工程信息网怎么业绩加分,外贸网站页面用什么做最好,设计师找图网站内容一览#xff1a;由于涉及到多种时空变化因素#xff0c;山体滑坡预测一直以来都非常困难。深度神经网络 (DNN) 可以提高预测准确性#xff0c;但其本身并不具备可解释性。本文中#xff0c;UCLA 研究人员引入了 SNN。SNN 具有完全可解释性、高准确性、高泛化能力和低模… 内容一览由于涉及到多种时空变化因素山体滑坡预测一直以来都非常困难。深度神经网络 (DNN) 可以提高预测准确性但其本身并不具备可解释性。本文中UCLA 研究人员引入了 SNN。SNN 具有完全可解释性、高准确性、高泛化能力和低模型复杂度等特点进一步提高了滑坡风险的预测能力。 关键词山体滑坡 SNN DNN 本文首发自 HyperAI 超神经微信公众平台~
山体滑坡的发生受到多种因素的综合影响如地形、坡度、土壤、岩石等物质特征以及气候、降雨、水文等环境条件。因此相关预测一直以来都非常困难。通常情况下地质学家使用物理和统计模型来估计滑坡发生的风险。虽然这些模型可以提供相当准确的预测但训练物理模型需要大量的时间和资源并不适合大规模应用。
近年来研究人员一直在训练机器学习模型用于预测山体滑坡特别是深度神经网络 (Deep Neural Network, DNN)。DNN 作为一个高精度预测模型在图像识别、语音识别、自然语言处理、计算生物、金融大数据等多个领域效果显著但它输入层和输出层之外有多层隐藏结构缺乏可解释性这种黑盒问题一直困扰着研究人员。
近期加利福尼亚大学洛杉矶分校 (UCLA) 的研究人员开发了一种可叠加神经网络 (Superposable Neural NetworkSNN)。与 DNN 不同SNN 可以将不同数据输入的结果分开更好地分析自然灾害中的影响因素。SNN 模型在性能上优于物理和统计模型并且达到了与最先进 DNN 相似的性能。目前该研究成果已发表在《Communications Earth Environment》期刊上标题为《Landslide susceptibility modeling by interpretable neural network》。 图 1该研究成果已发表在《Communications Earth Environment》
阅读完整论文
https://www.nature.com/articles/s43247-023-00806-5#Sec4 选取喜马拉雅山最东部滑坡数据
研究人员通过数据分析发现2004-2016 年山体滑坡造成人员伤亡的情况集中发生在亚洲。喜马拉雅山最东部地区极易发生陡坡滑坡、极端降水、洪水等事件。 研究人员通过将手动划定滑坡区域与半自动检测算法相结合生成了喜马拉雅山最东部的滑坡清单滑坡事件的记录或数据集。在整个 4.19 × 109 平方米的研究区域内测绘滑坡总数为 2,289 处面积范围为 900 至 1.96 × 106 平方米。 图 2喜马拉雅山最东部的研究区域
颜色代表海拔黄色框表示 N-S (Dibang)、NW-SErange front和 E-W (Lohit) 方向的研究区域。
插图表示喜马拉雅东部地区黑框表示研究区域深灰色线表示国家边界右上角。
如上图所示研究人员在喜马拉雅山最东部选择了 3 个环境条件不同的地区Dibang, Lohit 和 range front测试 SNN 模型的性能和应用。下文中Dibang、Lohit 和 range front 地区分别被称为 N-S、E-W 和 NW-SE。
数据集地址
https://doi.org/10.25346/S6/D5QPUA 模型开发6 步训练一个 SNN
本研究中为了在保证精确度的同时规避 DNN 缺乏可解释性问题研究人员结合模型提取 (model extraction) 和基于特征的方法生成了一种完全可解释的 additive ANN 优化框架。Additive ANN 是广义加性模型 (generalized additive models, GAM) 的一种。模型提取方法旨在训练一个可解释的 student 模型来模仿 teacher 模型。基于特征的方法旨在分析和量化每个输入特征的影响。
研究人员将这种 additive ANN 架构称为 Superposable Neural Network (SNN) 优化。不同于 DNN 是通过不同层之间的连接来建立特征之间的相互依赖关系SNN 是通过原始输入特征的乘积函数来建立特征之间的相互依赖关系两者间的对比如下图所示 图 3传统 DNN vs. SNN
x1x2…xn 表示一组 n 个原始特征χ1χ2…χM 表示一组 M 个组合特征Y 和 St 分别指 DNN 和 SNN 中的易发性结果。
如图 3 所示在传统 DNN 中特征通过网络中的连接来表示和学习这种依赖关系紧密嵌入在网络结构中十分复杂并且难以分离。而在 SNN 中研究人员事先找到并明确地将有助于输出的特征独立输入每个神经元仅与一个输入相连。
SNN 训练流程图如下 图 4训练 SNN 流程图
图中显示研究人员采用了两个主要方法 特征选择模型 (feature-selection model) 和多阶段训练 (multistage training)。特征选择模型用于选择最相关的特征进行后续分析和建模多阶段训练则指训练过程分为多个阶段每个阶段都有特定目标和训练策略逐步优化模型性能。
训练流程可总结为以下步骤
多元多项式展开 (Multivariate polynomial expansion)生成复合特征。锦标排名 (Tournament ranking)一种自动特征选择方法用于找出与模型最相关的特征。多阶段训练 (MST)一种二阶深度学习技术用于生成高性能的 teacher 网络。分数知识蒸馏 (Fractional knowledge distillation)用于分离每个特征对最终输出的贡献。并行知识蒸馏 (Parallel knowledge distillation)将标准的知识蒸馏技术单独应用于与每个特征对应的网络。网络叠加 (Network superposition)将与每个特征对应的单层网络合并成一个 SNN。 实验结果
SNN 最高准确率超 99%
根据模型训练中使用的最高级别的复合特征研究人员将 SNN 分为 3 个不同级别的模型即 Level-1、Level-2 和 Level-3。实验表明Level-3 SNN 准确率能达到 SOTA teacher DNN 的 99% 以上Level-2 SNN 准确率则超过 98%。考虑到两者间准确率的差距很小研究人员假设 Level-2 SNN 的可解释性对于分析来说是足够的。
接下来研究人员将 Level-1 和 Level-2 SNN 与 SOTA DNN teacher 模型MST基于二阶优化的 DNN以及传统方法LogR 及 LR进行比较所有方法均应用于相同的区域并使用相同的数据结果如下图所示。 图 5各模型性能对比
MST: SOTA DNN Teacher 模型
LogR: 逻辑回归 传统方法
LR: 似然比传统方法
如图所示SNN 与 MST 模型性能相当且优于常用的传统模型。3 个研究区域的平均值计算Level-1 和 Level-2 SNN 的 AUROC 分别为 0.856 和 0.890。Level-2 SNN 的 AUROC 比 LogR (AUROC 0.848) 和 LR (AUROC 0.823) 高出约 8%。
AUROC (area under the receiver operating characteristic): 用于评估分类模型的性能指标。AUROC 越接近 1模型性能越好。 SNN 具备完全可解释性
SNN 是一个完全可解释的模型其可解释性水平可与线性回归相媲美。
研究人员将研究区域分为滑坡 (ld) 和非滑坡 (nld) 区域。SNN 提供了个体特征对易发性的确切贡献使量化各特征对滑坡易发性的影响成为可能。通过计算个体特征在 ld 与 nld 区域间的差异可以确定滑坡的主要控制因素及其相对贡献。
如下图所示MAP*Slope平均年降水量和斜坡的乘积、NEE*Slope极端降雨事件数量和斜坡的乘积、Asp*Relief坡向和局部送风的乘积及 Asp坡向在所有三个区域中都有较大的影响。 图 6各特征对滑坡易发性的影响
(a, d): N-S 研究区域(b, e): NW-SE 研究区域(c, f): E-W 研究区域。
(a–c) 中的条形图按降序表示各特征在滑坡 (ld) 和非滑坡 (nld) 区域中的差异大小(d–f) 中的饼图表示各特征对滑坡 (ld) 和非滑坡 (nld) 区域的平均影响。
平均年降水量 (MAP)、极端降雨事件数量 (NEE)、坡向 (Asp)、海拔 (Elev)、平均曲率 (CurvM)、到河道的距离 (DistC)、所有断层 (DistF) 和主锋面逆冲和裂缝带 (DistMFT)以及局部送风 (Relief)。
星号 * 表示两个特征的代数乘法。
由于 SNN 独有的能力研究人员可以分离出主要控制特征的空间分布及其局部影响。 图 7各特征空间分布
a-c: 主要特征的空间分布。
d-f: 气候与坡度对易发性的影响。
(a, d): N-S 研究区域(b, e): NW-SE 研究区域(c, f): E-W 研究区域。
气候影响较大的地方呈蓝色坡度影响较大的地方呈红色。
平均年降水量 (MAP)、极端降雨事件数量 (NEE)、坡向 (Asp)、海拔 (Elev)、平均曲率 (CurvM)、局部送风 (Relief)。
星号 * 表示两个特征的代数乘法。
如上图 d-f 所示在 N-S、NW-SE 及 E-W 区域中分别大约 74%、54% 和 54% 的地点受气候特征如极端降雨事件数量、平均年降水量和坡向的影响程度大于坡度的影响程度在图中表现为蓝色面积大于红色表明了气候特征在控制喜马拉雅最东部地区山体滑坡的重要性。由于沿喜马拉雅山脉向东降水率逐渐增加喜马拉雅山脉东部地区垂直气候变化显著。这种气候梯度很可能影响喜马拉雅山脉东部地区的滑坡易发性。
SNN 代码 GitHub 地址:
https://GitHub.com/geosnn/geosnn.git SNN 突破滑坡预测难题
本研究作者 Louis Bouchard 和 Seulgi Moon 都是 UCLA 的副教授Khalid Youssef 在 UCLA 进行博士后研究Kevin Shao 为 UCLA 地球、行星和空间科学博士研究生。 图 8从左到右依次为 Louis Bouchard, Seulgi Moon, Khalid Youssef, Kevin Shao
Kevin Shao 谈到 「深度神经网络 (DNN) 可以提供准确的滑坡发生可能性但无法确定哪些具体的变量会引起滑坡发生及其原因。」共同第一作者 Khalid Youssef 指出 「问题在于 DNN 的各个网络层在学习过程中不断相互影响因此将其结果分析清楚是不可能的。该研究希望能够清楚地将不同数据输入的结果分离出来使其在确定影响自然灾害的最重要因素方面更加有用。」
「类似于用尸检来确定死因确定滑坡的确切触发因素总是需要田野测量和土壤、水文和气候条件的历史记录如降雨量和强度这些数据在像喜马拉雅山脉这样的偏远地区很难获取。但是 SNN 可以确定关键变量并量化它们对滑坡易发性的贡献。」 Seulgi Moon 教授说到。Louis Bouchard 则表示 「不像 DNN 需要强大的计算机服务器来进行训练SNN 的体积小到可以在苹果手表上运行。」
研究人员计划将他们的工作拓展到世界上其他容易发生滑坡的地区例如加利福尼亚州。在加州频繁的山火和地震导致滑坡风险加剧而 SNN 可以帮助开发早期预警系统综合考虑多种信号并预测其他一系列地表危险。 参考文章
[1]https://phys.org/news/2023-06-geologists-artificial-intelligence-landslides.html
[2]https://newsroom.ucla.edu/releases/artificial-intelligence-can-predict-landslides
[3]https://www.bccn3.com/news/ucla-geologists-develop-ai-model-to-predict-landslides
[4]https://static-content.springer.com/esm/art%3A10.1038%2Fs43247-023-00806-5/MediaObjects/43247_2023_806_MOESM1_ESM.pdf 本文首发自 HyperAI 超神经微信公众平台~
