网站建设太金手指六六二五,音乐网站的色彩搭配,极客wordpress主题,北京seo优化排名目录 摘要Abstract一、文献阅读1.1 论文标题1.2 论文摘要1.3 论文背景1.4 过去研究1.5 论文介绍1.5.1 论文模型1.5.2 时空交互学习模块#xff08;Spatiotemporal Interactive Learning Module#xff09;1.5.3 动态图推理模块#xff08;Dynamic Graph Inference ModuleSpatiotemporal Interactive Learning Module1.5.3 动态图推理模块Dynamic Graph Inference Module1.5.4 动态图卷积模块Dynamic Graph Convolution Module 摘要
本周学习了一篇基于STFGNNs的多变量时间序列预测的论文论文的模型为DSTIGNN动态时空交互图神经网络主要包括如下四个模块时空交互学习模块Spatiotemporal Interactive Learning Module、动态图推理模块Dynamic Graph Inference Module、动态图卷积模块Dynamic Graph Convolution Module以及输出模块Output Module。动态图推理模块通过融合两类异构信息对变量之间的动态空间关联进行建模并与动态图卷积模块相结合在空间维度上进行信息传播。同时利用下采样操作和多个样本卷积模块联合捕获多分尺度时间相关性。随后这些模块被集成到一个时空交互学习框架中实现了时间和空间特征的同步捕获。在6个基准数据集上进行了大量实验实验结果表明DSTIGNN表现出了最先进的性能。
Abstract
This week, We learned a paper on multivariate time series forecasting based on STFGNNs. The model of the paper is DSTIGNN (Dynamic Spatio-Temporal Interaction Graph Neural Network), which mainly includes the following four modules: Spatiotemporal Interactive Learning Module, Dynamic Graph Inference Module, Dynamic Graph convolution module Convolution Module) and Output Module. The dynamic graph inference module models the dynamic spatial association between variables by fusing two types of heterogeneous information, and combines it with the dynamic graph convolution module to propagate information in the spatial dimension. At the same time, the down-sampling operation and multiple sample convolution modules are used to jointly capture the multi-subscale temporal correlation. Subsequently, these modules are integrated into a spatio-temporal interactive learning framework, which enables the simultaneous capture of temporal and spatial features. Extensive experiments are conducted on six benchmark datasets, and the experimental results show that DSTIGNN exhibits the state-of-the-art performance.
一、文献阅读
1.1 论文标题
Dynamic spatiotemporal interactive graph neural network for multivariate time series forecasting
1.2 论文摘要
多变量时间序列MTS预测对于复杂现实现象的决策具有重要意义。然而变量内部的非线性时间相关性和变量之间的动态空间相关性使得准确的MTS预测具有挑战性。目前有许多研究人员构建了各种时空图神经网络spatiotemporal graph neural networksSTGNNs并将其应用于该领域。然而现有的方法大多使用单一类型的信息构建图结构并分别捕获时间和空间特征。这些因素会导致模型无法提取完整的时空特征从而限制其性能。为克服这些限制本文提出动态时空交互图神经网络DSTIGNN一种用于MTS预测的新型STGNN。所提出的动态图推理模块dynamic graph inference moduleDGIM通过融合两类异构信息对变量之间的动态空间关联进行建模并与动态图卷积模块dynamic graph convolution moduleDGCM相结合在空间维度上进行信息传播。同时利用下采样操作downsampling operations和多个样本卷积模块sample convolution modulesSCM联合捕获多分尺度时间相关性。随后这些模块被集成到一个时空交互学习框架中实现了时间和空间特征的同步捕获。在6个基准数据集上进行了大量实验实验结果表明DSTIGNN表现出了最先进的性能。
1.3 论文背景
多变量时间序列MTS预测的目标是通过揭示历史数据之间的模式和关系来预测未来数据。数据科学和人工智能技术的进步将MTS预测提升为数据驱动决策和优化的重要工具。MTS预测广泛应用于能源、天气、交通等领域包括电力负荷预测、天气预测、交通流量预测等。准确的MTS预测对于使个人能够做出明智的决定和驾驭不确定的未来至关重要。MTS预测的困难在于捕获每个变量内在的非线性时间相关性。必须充分考虑多个变量之间的相互作用和影响这种相关性可能会随着时间的推移而变化。近年来深度学习因其能够从数据中自动学习最优的特征表示而得到迅速普及。许多研究人员开始构建基于深度学习的方法用于MTS预测领域的应用。例如有许多方法结合了循环神经网络RNNs和卷积神经网络CNNs以捕获变量内的时间相关性和变量之间的空间相关性。然而CNN具有全局聚合属性阻止了它们捕获变量之间的成对依赖关系这可能会限制模型的性能。最近图神经网络GNNs的出现能够用来解决这个问题。GNN将MTS中的每个变量视为图结构中的一个节点变量之间的成对依赖关系视为图结构中的边。然后通过图结构进行信息传播允许每个节点与其相邻节点交互并学习其特征表示。因此许多研究人员开始将GNNs与其他深度神经网络结合在专用时空图神经网络STFGNNs中以提高模型的预测性能。
1.4 过去研究
目前STGNNs可以根据其架构和构造的图结构进行分类。从STGNNs的架构来看这些网络通常将GNNs与注意力机制Attention、CNN或RNN相结合以捕获MTS中的时空依赖关系。然而与基于CNN和基于RNN的方法相比这种方法在捕获短期依赖方面相对较低效并且可能受到内存和计算资源的限制。基于CNN的方法通常使用时间卷积网络TCN来有效捕获数据中的时间依赖关系然后将其与以串行或并行方式捕获空间依赖关系的GNN相结合以预测MTS。然而这些方法忽略了时间和空间特征之间的相互作用潜在地削弱了时空相关性。基于循环神经网络的方法通常使用循环神经网络及其变体长短期记忆网络LSTM和门控循环单元GRU可以有效地提取时间特征。这些方法通常将GNN嵌入到RNN单元中以同步捕获空间和时间依赖关系。基于RNN的方法考虑了时空特征之间的相互作用但可能面临梯度爆炸或消失等挑战。尽管现有方法在MTS预测任务中取得了很好的效果但仍然存在一定的局限性。此外这些方法在捕获时序依赖关系时往往忽略了时间序列的特性如季节性和趋势性。在论文Spatial-Temporal Interactive Dynamic Graph Convolution Network for Traffic Forecasting中率先将时间序列的特性与时空交互学习相结合在交通数据上取得了优异的预测性能。然而他们的模型采用了单层结构这在一定程度上限制了其对其他时间序列数据中可能存在的各种依赖关系的适用性。因此设计一个灵活高效的模型同时考虑时空交互学习和时间序列的特性是一项具有挑战性的任务。无论STGNNs的架构如何都需要建立信息传播的图结构。因此构建一个合适的图结构也是非常重要的。
根据构造的图结构STGNNs可以根据预定义图、自适应图动态图进行分类。基于预定义图的方法通常基于先验知识或单一规则构建图结构如空间距离、Pearson相关系数、动态时间规整dynamic time warping等。虽然这些预定义的图可以在一定程度上反映节点之间的因果关系但对于抽取节点之间的复杂关系还不够。自适应图的出现很好地解决了这个问题。它们对节点信息进行参数化并自适应地学习变量之间的空间关系。然而预定义图结构和自适应图结构都是静态的缺乏建模节点之间动态空间关联的能力。如下图(a)所示四条不同颜色的折线代表四个不同传感器处的交通流。从图中可以看出节点间的空间关联随时间变化每个时间步长的空间关联可以建模为图结构。这个问题促使研究人员构建动态图。论文Dynamic and Multi-faceted Spatio-temporal Deep Learning for Traffic Speed Forecasting通过分配三个节点嵌入矩阵和一个可学习的核心张量在每个时间步骤计算动态图。节点嵌入可以将节点映射为捕捉节点之间内在结构信息的潜在信息通常以空间维度表示。论文Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting使用膨胀卷积来提取序列内的多尺度时间相关性然后在每一层网络中递归地构建演化动态图。虽然两组都取得了很好的效果但它们只考虑了单一的信息来构建动态图。如下图(b)所示每个传感器处的车流量不仅受到实时车流量的影响还受到固定道路结构的影响。因此需要将这两类异构信息结合起来建模动态空间关联。由于不同类型的异构信息可能会相互限制或排除因此平衡这些信息是一个挑战。
1.5 论文介绍
为了克服这些挑战本文提出了DSTIGNN。为了有效地建模动态空间关联设计了一个新的动态图推理模块DGIM利用节点嵌入信息和动态输入信息来推断最优的动态图。同时引入GRU层来平衡这两类异构信息。生成的动态图作为动态图卷积DGCN模块的输入实现信息传播。此外设计了一种用于MTS预测的分层时空交互学习架构。该架构通过将MTS下采样为子序列并使用多个样本卷积SConv模块来提取多分尺度时间特征其中每个SConv模块由两个不同的卷积filter组成。然后将多个SConv模块与DGCN模块集成以同步捕获非线性时间相关性和动态空间相关性。 本文为基于GNNs的MTS预测提供了一个详细的问题表述。使用图来建模变量之间的关联将每个变量看作图结构中的一个节点变量之间的关联看作图结构中的一条边。
1.5.1 论文模型
DSTIGNN的总体架构如下其核心思想是利用异构信息对动态空间关联进行建模并通过考虑时间序列特性的交互式学习架构同步捕获时间和空间相关性。该模型采用由动态图推理模块、多个时空层ST层和输出模块组成的分层结构如下图(a)所示。每个ST层由3个时空交互学习模块组成以二叉树结构排列有利于在多种尺度下捕获时空特征。初始输入X首先被送入1 × 1卷积以获得初始特征表示H如下图(b)所示。然后每个STIL模块将数据下采样为两个子序列然后将它们馈送到交互式学习结构中以同步提取时间和空间相关性。该结构主要由样本卷积模块和动态图卷积模块组成。样本卷积模块用于捕获数据中的时间相关性如下图(e)所示。另一方面利用动态图卷积模块捕获数据中的空间相关性如下图©所示。如下图(d)所示动态图推理模块旨在根据两类异构信息推断出动态图对节点之间的动态空间关联进行建模作为动态图卷积模块的输入之一。在每个ST层的末尾将捕获到的特征按照原始时间顺序集成到一个新的序列中。通过残差拼接将其与原始序列相结合得到最终的序列表示。通过堆叠多个ST层来获得深度时空特征。最后通过由ReLU激活函数和两个1 × 1卷积层组成的输出模块得到预测结果。
1.5.2 时空交互学习模块Spatiotemporal Interactive Learning Module
时间序列数据有一个独特的性质即当将数据下采样为两个序列时原始数据中的时间关系在很大程度上得到保留。受此启发设计了一个STIL模块通过下采样操作将原始MTS分割为两个子序列然后通过样本卷积模块和动态图卷积模块之间的交互学习同步捕获时间和空间相关性。从递归思维中汲取灵感设计了一个具有三个STIL模块的二叉树结构对多个子序列进行建模并捕获多分尺度时空特征。Fig.1(b)显示了STIL模块的结构。给定输入H \in R^{W \times N \times D}其中W表示窗口长度N表示节点数D表示通道数。分裂操作根据奇偶索引排列将H分为两个子序列H_{even}\in R^{W/2\times N\times D}和H_{odd}\in R^{W/2\times N\times D}。这些子序列的尺度较低但仍然保留了大多数时间关系。通过交互结构传递它们从两个独立捕获时间相关性的样本卷积模块开始。Fig.1(e)显示了样本卷积的结构由两个不同的卷积核组成便于从数据中提取不同但有价值的时间特征。然后将提取的时间特征输入到动态图卷积模块中以捕获空间相关性。最后两个子序列在动态图卷积模块中相互学习共享参数权重完成初始时空交互学习过程。形式上第一个交互式学习可以定义如下
1.5.3 动态图推理模块Dynamic Graph Inference Module
对于基于STGNN的模型图结构的精确构建至关重要。已有研究倾向于构建预定义或自适应的图但它们是静态的无法反映节点之间的时变关系。最近的研究从单一的动态信息推断出动态图取得了较好的结果。然而动态空间关联往往受到多种类型信息的影响。为解决这个问题本文提出一种新的DGI模块旨在基于两种不同类型的异构信息来建模节点之间的动态空间关联动态输入信息和内在结构信息。DGI模块的架构如Fig.1(d)所示。具体来说给定时间步t的动态输入信息X_{t}\in R^{N\times F}其中F表示初始节点维度。使用CNN提取特征得到X’{t}\in R^{N\times d}其中d是节点嵌入维度。同时初始化一个节点嵌入字典E{d} \in R^{N\times d}作为内在结构信息。节点嵌入促进了将每个节点的信息映射到低维向量表示中从而能够在训练期间推断结构信息。为了有效地利用两类异构信息并缓解它们之间潜在的冲突或约束使用GRU层进行平衡。GRU层的数学表达式为
1.5.4 动态图卷积模块Dynamic Graph Convolution Module
图卷积主要通过聚合相邻节点的信号来提取和利用每个节点的特性。论文Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting是将交通流视为图结构上的扩散过程的先驱使捕获节点之间的空间相关性成为可能。这种直观的建模方法已经在众多时空建模任务中得到了验证。具体地对于输入序列X \in R^{W\times N\times D}、带有自环的归一化邻接矩阵A和参数矩阵W_{k}扩散图卷积的形式化表示如下 其中M表示输出K是扩散步骤的数量。P^{k} \in R^{N\times N}表示转移矩阵的幂级数同时PD{-1}A其中D是A的度矩阵。这个过程是针对无向图的。对于有向图图卷积的扩散过程具有前向和后向两个方向。P_{f}D{-1}{f}A为正向转移矩阵P{b}D{-1}_{b}A{T}为逆向转移矩阵。形式上对于有向图扩散图卷积可以表示为 这些图卷积方法是针对静态图设计的。本文提出一种图卷积的动态变体。这种动态图卷积是基于从动态图推理模块获得的动态推断图。动态图卷积模块的架构如Fig.1©所示。它在不同的时间步骤执行图卷积以捕获节点之间不断演化的空间关系。重要的是要强调论文的动态图是规范化的可以认为等同于P。因此动态图卷积的表述可以表示为 其中H_{S}和H_{D}分别表示样本卷积模块和动态图卷积模块的输出。W_{c}是模型参数。在本研究中将K设为2。通过上面的等式能够捕获节点之间的空间特征。回想一下在5.2.1节中论文使用动态图卷积模块和样本卷积模块构建了一个时空交互学习模块。该模块的目的是通过有效地同步捕获时间和空间相关性来提高MTS预测的准确性。 最后算法1中概述了DSTIGNN的训练过程。
