心理咨询网站平台建设,如何写一个自己的网站,个人网站怎么制作,老鹰网网站建设系列文章链接 论文一#xff1a;2020 Informer#xff1a;长时序数据预测 论文二#xff1a;2021 Autoformer#xff1a;长序列数据预测 论文三#xff1a;2022 FEDformer#xff1a;长序列数据预测 论文四#xff1a;2022 Non-Stationary Transformers#xff1a;非平…系列文章链接 论文一2020 Informer长时序数据预测 论文二2021 Autoformer长序列数据预测 论文三2022 FEDformer长序列数据预测 论文四2022 Non-Stationary Transformers非平稳性时序预测 论文五2022 Pyraformer基于金字塔图结构的时序预测 论文六2023 Crossformer多变量时序预测 论文七2023 LTSF-Linear质疑transformer能力的线性预测模型
论文链接Pyraformer.pdf github链接https://github.com/ant-research/Pyraformer 参考解读https://zhuanlan.zhihu.com/p/467765457
本文是上海交通大学的团队发表的背景仍然是如何降低计算复杂度更好地进行长期依赖性关系的表征。本文的创新点主要提现在以下几点
金字塔注意力机制Pyramidal Attention Module不同于原始的注意力机制本文采用形似金字塔的图结构对时序数据进行转换采用这样的结构转换就可以提取当前数据和邻近点位的周期内尺度内特性以及长期点位之间的周期间尺度间的特性并且可以提取多层级的多分辨率的特性。对于每个节点而言可以表示为一个由父节点、自身以及子节点组成的集合 那对于每个节点而言不需要对每个点位都去计算对应的注意力只需要在对应关系内的节点进行运算降低了计算复杂度但是在实际计算过程中由于框架tensorflow和pytorch的限制计算复杂度并没有达到预期的 O ( L ) O(L) O(L)本文针对此进行了技巧设计以减少计算和内存成本 粗尺度构造模块对于每个层级的节点而言从子节点出发从下至上引入粗尺度的初始化卷积。整个模块的设计是为了降低参数量计算复杂度类似残差结构具体解释写的比较模糊可以参考代码实现
