怎么建立网站的步骤,请牢记此域名,wordpress图片表单插件下载,网络平台代理第五章 深度学习
一、基本理论
4. 神经网络的改进
4.3 循环神经网络
4.3.1 标准 CNN 模型的不足
假设数据之间是独立的。标准 CNN 假设数据之间是独立的#xff0c;所以在处理前后依赖、序列问题#xff08;如语音、文本、视频#xff09;时就显得力不从心。这一类数据…第五章 深度学习
一、基本理论
4. 神经网络的改进
4.3 循环神经网络
4.3.1 标准 CNN 模型的不足
假设数据之间是独立的。标准 CNN 假设数据之间是独立的所以在处理前后依赖、序列问题如语音、文本、视频时就显得力不从心。这一类数据如文本和图像数据差别非常大最明显的差别莫过于文本数据对文字的前后次序非常敏感。所以需要发展新的理论模型。
标准 CNN 络还存在一个短板输入都是标准的等长向量而序列数据长度是可变的。
4.3.2 RNN 模型
循环神经网络Recurrent Neural NetworkRNN是一类具有短期记忆能力的神经网络适合用于处理视频、语音、文本等与时序相关的问题。 连接不仅存在于相邻的层与层之间比如输入层-隐藏层还存在于时间维度上的隐藏层与隐藏层之间反馈连接h1 到 ht。某个时刻 t网络的输入不仅和当前时刻的输入相关也和上一个时刻的隐状态相关。
循环神经网络内部结构 RNN 模型输入输出关系对应模式 RNN 善于处理跟序列相关的信息如语音识别语言建模翻译图像字幕。它能根据近期的一些信息来执行/判别当前任务。例如
白色的云朵漂浮在蓝色的____我和他中午一起吃了个___天空中飞过来一只___
RNN 不善于处理远期依赖性任务。例如
我生长在中国家有三亩一分地。我是家里老三我大哥叫大狗子二哥叫二狗子我叫三狗子我弟弟叫狗剩子。我的母语是____。
4.3.3 LSTM 模型
由于 RNN 具有梯度消失问题因此很难处理长序列的数据。于是对 RNN 进行了改进得到了长短期记忆网络模型Long Short-Term Memory简称 LSTM
输入门决定什么信息输入进来遗忘门决定从细胞状态中丢弃什么信息输出门决定输出什么
LSTMs 的核心是细胞状态用贯穿细胞的水平线表示。细胞状态像传送带一样。它贯穿整个细胞却只有很少的分支这样能保证信息不变的流过整个 RNNs。 遗忘门
该门会读取 h t − 1 h_{t-1} ht−1和 x t x_t xt输出一个在 0 1 之间的数值给每个在细胞状态 C t − 1 C_{t-1} Ct−1中的数字。1 表示“完全保留”0 表示“完全舍弃”。
输入门
输入门可以分成两部分一部分是找到那些需要更新的细胞状态另一部分是把需要更新的信息更新到细胞状态里。其中tanh 层就是要创建一个新的细胞状态值向量—— C t C_t Ct会被加入到状态中。
状态更新
遗忘门找到了需要忘掉的信息 f t f_t ft后再将它与旧状态相乘丢弃掉确定需要丢弃的信息。再将结果加上 i t i_t it× C t C_t Ct使细胞状态获得新的信息这样就完成了细胞状态的更新。
输出门
在输出门中通过一个 Sigmoid 层来确定哪部分的信息将输出接着把细胞状态通过 tanh 进行处理得到一个在-1 1 之间的值并将它和 Sigmoid 门的输出相乘得出最终想要输出的那部分。
4.3.4 CNN 和 RNN 的关系
CNN 和 RNN 同属于深度学习基本模型CNN 主要用于图像问题RNN 主要用于语音、NLP。深度学习还有一种基本模型 Transformer发源于 NLP后来也引入到图像识别中。 4.4 小结
卷积神经网络CNN
卷积层。执行卷积运算激活层。对卷积结果执行激活函数运算池化层。降低数据规模防止过拟合全连接层。执行输出计算
循环神经网络RNN
RNN处理序列数据LSTMRNN 变种解决了 RNN 梯度消失问题
