惠州建设网站开发,开普网站建设公司,怎么做跨境电商网站,扁平式网站建设全文下载链接#xff1a;http://tecdat.cn/?p23544 在本文中#xff0c;长短期记忆网络——通常称为“LSTM”——是一种特殊的RNN递归神经网络#xff0c;能够学习长期依赖关系#xff08;点击文末“阅读原文”获取完整代码数据#xff09;。 本文使用降雨量数据#xf… 全文下载链接http://tecdat.cn/?p23544 在本文中长短期记忆网络——通常称为“LSTM”——是一种特殊的RNN递归神经网络能够学习长期依赖关系点击文末“阅读原文”获取完整代码数据。 本文使用降雨量数据查看文末了解数据免费获取方式进行分析。 视频LSTM神经网络架构和工作原理及其在Python中的预测应用 什么是依赖关系 假设您在观看视频时记得前一个场景或者在阅读一本书时您知道前一章发生了什么。 传统的神经网络无法做到这一点这是一个主要缺点。例如假设您想对电影中每一点发生的事件进行分类。目前尚不清楚传统的神经网络如何利用电影中先前事件来推理后来的事件。 递归神经网络解决了这个问题。它们是带有循环的网络允许信息持续存在。循环神经网络有循环。 在上图中一大块神经网络查看一些输入x并输出一个值h. 循环允许信息从网络的一个步骤传递到下一个步骤。 这些循环使循环神经网络看起来有点神秘。然而如果你想得更多就会发现它们与普通的神经网络并没有什么不同。循环神经网络可以被认为是同一网络的多个副本每个副本都将消息传递给后继者。考虑一下如果我们展开循环会发生什么 这种链状性质表明循环神经网络与序列和列表密切相关。它们是用于此类数据的神经网络的自然架构。在过去的几年里将 RNN 应用于各种问题取得了令人难以置信的成功语音识别、语言建模、翻译、图像字幕……不胜枚举。这些成功的关键是使用“LSTM”这是一种非常特殊的循环神经网络几乎所有基于循环神经网络的令人兴奋的结果都是用它们实现的。本文将探讨的正是这些 LSTM。 长期依赖问题 下面是一个关于如何使用循环神经网络RNN来拟合语言模型的例子。 RNN 的吸引力之一是它们可能能够将先前的信息与当前任务联系起来例如使用先前的视频帧可能会告知对当前帧的理解。如果 RNN 可以做到这一点它们将非常有用。但他们可以吗 有时我们只需要查看最近的信息即可执行当前任务。例如考虑一个语言模型试图根据之前的单词预测下一个单词。如果我们试图预测“云在天空”中的最后一个词我们不需要任何进一步的上下文——很明显下一个词将是天空。在这种情况下相关信息与所需位置之间的差距很小RNN 可以学习使用过去的信息。 但也有我们需要更多上下文的情况。考虑尝试预测文本“我在中国长大……我说地道的中文”中的最后一个词。最近的信息表明下一个词可能是一种语言的名称但如果我们想缩小哪种语言的范围我们需要中国的上下文从更远的地方。相关信息和需要的点之间的差距完全有可能变得非常大。 随着差距的扩大RNN 变得无法学习连接信息。 LSTM 网络 长短期记忆网络——通常称为“LSTM”——是一种特殊的 RNN能够学习长期依赖关系。它们在解决各种各样的问题时表现出色现在被广泛使用。LSTM 被明确设计为避免长期依赖问题。长时间记住信息实际上是他们的默认行为而不是他们难以学习的东西 所有循环神经网络都具有神经网络的重复模块链的形式。在标准 RNN 中此重复模块将具有非常简单的结构例如单个 tanh 层。 LSTM 也有这种链状结构但重复模块有不同的结构。不是只有一个神经网络层而是三个部分组成以一种非常特殊的方式进行交互。 LSTM 的工作方式非常类似于 RNN 单元。这是 LSTM 网络的内部功能。LSTM 由三个部分组成如图所示每个部分执行一个单独的功能。第一部分选择来自前一个时间戳的信息是被记住还是不相关并且可以被遗忘。在第二部分中单元尝试从该单元的输入中学习新信息。最后在第三部分单元将更新的信息从当前时间戳传递到下一个时间戳。LSTM 单元的这三个部分称为门。第一部分称为忘记门或遗忘门第二部分称为输入门最后一部分称为输出门。 Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析 每年的降雨量数据可能是相当不平稳的。与温度不同温度通常在四季中表现出明显的趋势而雨量作为一个时间序列可能是相当不平稳的。夏季的降雨量与冬季的降雨量一样多是很常见的。 下面是某地区2020年11月降雨量数据查看文末了解数据获取方式的图解。 作为一个连续的神经网络LSTM模型可以证明在解释时间序列的波动性方面有优势。 使用Ljung-Box检验小于0.05的p值表明这个时间序列中的残差表现出随机模式表明有明显的波动性。 sm.stats.acorr_ljungbox(res.resid, lags\[10\]) Ljung-Box检验 Dickey-Fuller 检验 数据操作和模型配置 该数据集由722个月的降雨量数据组成。 选择712个数据点用于训练和验证即用于建立LSTM模型。然后过去10个月的数据被用来作为测试数据与LSTM模型的预测结果进行比较。 下面是数据集的一个片段。 然后形成一个数据集矩阵将时间序列与过去的数值进行回归。 # 形成数据集矩阵for i in range(len(df)-previous-1):a df\[i:(iprevious), 0\]dataX.append(a)dataY.append(df\[i previous, 0\]) 然后用MinMaxScaler对数据进行标准化处理。 将前一个参数设置为120训练和验证数据集就建立起来了。作为参考previous 120说明模型使用从t - 120到t - 1的过去值来预测时间t的雨量值。 前一个参数的选择要经过试验但选择120个时间段是为了确保识别到时间序列的波动性或极端值。 # 训练和验证数据的划分
train_size int(len(df) * 0.8)
val\_size len(df) - train\_size
train, val df\[0:train\_size,:\], df\[train\_size:len(df),:\]# 前期的数量
previous 120 然后输入被转换为样本、时间步骤、特征的格式。 # 转换输入为\[样本、时间步骤、特征\]。
np.reshape(X_train, (shape\[0\], 1, shape\[1\])) 模型训练和预测 该模型在100个历时中进行训练并指定了712个批次的大小等于训练和验证集中的数据点数量。 # 生成LSTM网络
model tf.keras.Sequential()
# 列出历史中的所有数据
print(history.history.keys())
# 总结准确度变化
plt.plot(history.history\[loss\]) 下面是训练集与验证集的模型损失的关系图。 预测与实际降雨量的关系图也被生成。 点击标题查阅往期内容 在Python中使用LSTM和PyTorch进行时间序列预测 左右滑动查看更多 01 02 03 04 # 绘制所有预测图
plt.plot(valpredPlot) 预测结果在平均方向准确性MDA、平均平方根误差RMSE和平均预测误差MFE的基础上与验证集进行比较。 mda(Y_val, predictions)0.9090909090909091mse mean\_squared\_error(Y_val, predictions)rmse sqrt(mse)forecast_errormean\_forecast\_error np.mean(forecast_error) MDA: 0.909RMSE: 48.5MFE: -1.77 针对测试数据进行预测 虽然验证集的结果相当可观但只有将模型预测与测试或未见过的数据相比较我们才能对LSTM模型的预测能力有合理的信心。 如前所述过去10个月的降雨数据被用作测试集。然后LSTM模型被用来预测未来10个月的情况然后将预测结果与实际值进行比较。 至t-120的先前值被用来预测时间t的值。 # 测试未见过的预测
np.array(\[tseries.iloctseries.iloc,t 获得的结果如下 MDA: 0.8RMSE: 49.57MFE: -6.94 过去10个月的平均降雨量为148.93毫米预测精度显示出与验证集相似的性能而且相对于整个测试集计算的平均降雨量而言误差很低。 结论 在这个例子中你已经看到: 如何准备用于LSTM模型的数据构建一个LSTM模型如何测试LSTM的预测准确性使用LSTM对不稳定的时间序列进行建模的优势 数据获取 在下面公众号后台回复“降雨量数据”可免费获取完整数据。 本文摘选《Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析》点击“阅读原文”获取全文完整资料。 本文中的降雨量数据分享到会员群扫描下面二维码即可加群 点击标题查阅往期内容 深度学习实现自编码器Autoencoder神经网络异常检测心电图ECG时间序列 spss modeler用决策树神经网络预测ST的股票 Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化 RNN循环神经网络 、LSTM长短期记忆网络实现时间序列长期利率预测 结合新冠疫情COVID-19股票价格预测ARIMAKNN和神经网络时间序列分析 深度学习Keras使用神经网络进行简单文本分类分析新闻组数据 用PyTorch机器学习神经网络分类预测银行客户流失模型 PYTHON用LSTM长短期记忆神经网络的参数优化方法预测时间序列洗发水销售数据 Python用Keras神经网络序列模型回归拟合预测、准确度检查和结果可视化 R语言深度学习卷积神经网络 (CNN)对 CIFAR 图像进行分类训练与结果评估可视化 深度学习Keras使用神经网络进行简单文本分类分析新闻组数据 Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析 R语言深度学习Keras循环神经网络(RNN)模型预测多输出变量时间序列 R语言KERAS用RNN、双向RNNS递归神经网络、LSTM分析预测温度时间序列、 IMDB电影评分情感 Python用Keras神经网络序列模型回归拟合预测、准确度检查和结果可视化 Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析 R语言中的神经网络预测时间序列多层感知器MLP和极限学习机ELM数据分析报告 R语言深度学习用keras神经网络回归模型预测时间序列数据 Matlab用深度学习长短期记忆LSTM神经网络对文本数据进行分类 R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据MNIST MATLAB中用BP神经网络预测人体脂肪百分比数据 Python中用PyTorch机器学习神经网络分类预测银行客户流失模型 R语言实现CNN卷积神经网络模型进行回归数据分析 SAS使用鸢尾花(iris)数据集训练人工神经网络(ANN)模型 【视频】R语言实现CNN卷积神经网络模型进行回归数据分析 Python使用神经网络进行简单文本分类 R语言用神经网络改进Nelson-Siegel模型拟合收益率曲线分析 R语言基于递归神经网络RNN的温度时间序列预测 R语言神经网络模型预测车辆数量时间序列 R语言中的BP神经网络模型分析学生成绩 matlab使用长短期记忆LSTM神经网络对序列数据进行分类 R语言实现拟合神经网络预测和结果可视化 用R语言实现神经网络预测股票实例 使用PYTHON中KERAS的LSTM递归神经网络进行时间序列预测 python用于NLP的seq2seq模型实例:用Keras实现神经网络机器翻译 用于NLP的Python使用Keras的多标签文本LSTM神经网络分类
