做海报找素材的网站,网站怎么做必须交钱吗,卓博人才网东莞招聘网,推广软文一、神经网络1、循环神经网络#xff08;RNN#xff09;2、门控循环单元#xff08;GRU#xff09;3、长短期记忆网络#xff08;LSTM#xff09;4、双向RNN5、卷积神经网络#xff08;CNN#xff09; 二、注意力机制1、注意力机制原理介绍2、注意力机制的各种变式3、注… 一、神经网络1、循环神经网络RNN2、门控循环单元GRU3、长短期记忆网络LSTM4、双向RNN5、卷积神经网络CNN 二、注意力机制1、注意力机制原理介绍2、注意力机制的各种变式3、注意力机制的特点 一、神经网络
1、循环神经网络RNN
RNN的一个关键点在于它在处理序列数据的期间会进行一个顺序记忆。序列数据一段话或者一个音频都可以理解为序列数据。顺序记忆是一种会使大脑更容易识别这个序列模式的数据的一个机制。而RNN可以很好的利用这个机制来递归地进行更新我们这个生命记忆以此来对我们这些序列数据进行一个很好的建模。 RNN是顺序记忆的原因因为其每一个时间步下的隐藏状态变量计算都包含了我们过去的一个时间是一个一个计算按照顺序来的。 最终会经过softmax然后输出词表上每个词的概率我们选择概率最大的词来做我们的最终预测词。整个RNN的结构就是每一个RNN单元的不断复制因此每个RNN单元的功能都是一样的。所以 W i , W h W_i,W_h Wi,Wh都是相同的代表输入的矩阵。这里面的权重RNN的优点1可以处理变量的数据2模型的大小不会随着输入的增加而增大因为这里的权重基本是共享的有很好的参数共享。RNN的缺点1由于我们是顺序的计算因此我们需要计算前一个单元的学习结果才能得到后面的这个结果因此时间上较慢。2实际应用当中随着时间步不停地往后进行推移后面信息单元的计算就较难获取到之前信息单元的计算。下面介绍两种RNN的变体GRU和LSTM
2、门控循环单元GRU 门控机制对当前的信息进行筛选像阀门一样。GRU有两个门控1更新门update gate。2重置门reset gate。它们的作用在于权衡我们过去的信息和当前的输入信息之间的比重问题。
3、长短期记忆网络LSTM 黄色方块神经网络层。粉色圈圈元素之间的操作。箭头向量的传递。向量的合并与复制。 LSTM关键在于加了一个新的值cell state。用它来学习长期的依赖关系。 第一个门称之为遗忘门。它的作用主要来决定我们当前上一个状态有哪些信息可以从cell状态中进行移除。如果 f t 0 f_t0 ft0即遗忘门的最终计算结果为0则表示过去的某些信息我们可以直接进行丢弃。 输入门是决定有哪些信息可以存入cell状态里面去的其计算方法与遗忘门叫类似。 最后是输出门决定了哪些信息可以输出。综上LSTM很强大因为我们每个隐藏层都是已经有一个内部的神经单元网络已经计算好了所以在我们做堆叠或者我们做的很深的时候LSTM会表现的性能很好。并且由于我们引入了门控机制它会对神经网络的输入和输出进行一个动态的控制会增强我们对信息的利用能力。最后LSTM可以有效的缓解梯度的问题。
4、双向RNN
前面提到的RNN都有一个特点就是每一个时间步下的状态里面的隐藏状态变量都是从我们过去序列以及当前输入来捕获信息的。或者允许过去的值来影响我们当前的状态。但是在有些时候我们计算当前的时候不仅是依赖过去还会依赖未来的输入相当于我们会依赖整个输入序列。 例如我们对手写体进行识别的时候不仅会取决于过去还会取决于未来的几个字还有语音识别。
5、卷积神经网络CNN CNN刚出现的时候是运用在计算机视觉领域。但是由于其结构的特殊性也可以运用在NLP领域。例如情感分类、心态分类当中都有较好的运用。【这是归功于CNN比较擅长提取局部和位置不变的模式。】 CNN提取局部模式的步骤主要是用来计算一个句子当中所有可能的N元组短语的一个表示。N元组表示我们选取几个相邻的词作为短语。CNN的运用领域目标检测、语音识别、文本分类、视频分类等。 CNN比较擅长提取局部的特征。RNN可以很好的处理变长的文本。来对变长的文本依赖进行很好的建模。模型机制不同导致RNN参数更多一些。CNN主要是使用卷积核卷积核在计算的时候是没有相互依赖的因此可以很好的并行计算。RNN则依赖于过去的数据。
二、注意力机制
1、注意力机制原理介绍
Encoder将可变长度的输入序列编码成一个固定长度的向量Decoder将固定长度的向量解码成一个可变长度的输出序列Encoder-Decoder阶段的编码与解码的方式可以是CNN、RNN、LSTM、GRU等
首先以RNN模型为例这个模型当中存在一个信息瓶颈的问题。
decoder端需要输出一个完整的句子这要求encoder端得到的最后一个向量表示需要包含它输入句子的所有信息。但是这样的向量无法表达所有句子的多种多样的信息。 研究人员也发现这样的向量容量会限制模型encoder端的表示。因为在encoder端的每一个位置的隐向量都包含有丰富的信息而其实最后的向量是整个encoder和decoder模型之间的一个信息瓶颈。 注上图当中写的Seq2Seq其实是一个抽象的理论只要满足输入序列生成输出序列的模式都可以归类为Seq2Seq的模型。
而注意力机制就是为了解决信息瓶颈的问题提出的。 encoder端得到的每一个隐藏向量用h1到h7来表示在decoder端得到的第一个隐向量用s1来表示。与之前RNN模型不同的是我们不用s1直接来计算这一步生成单词的概率而是利用s1来选择关注输入句子中的哪些部分并计算得到一个新的隐向量来得到生成单词的一个概率。
那么这样一个decoder端如何根据s1来对encoder端的向量进行选择呢
首先需要计算注意力分数将s1与h1进行点积得到标量称其为 e 1 1 e_{1}^{1} e11 ,之后将s1与h1进行点积得到 e 2 1 e_{2}^{1} e21 将这个过程一直重复直到这个句子的末尾。 最后我们就可以得到一个长度为7的向量其中每个元素都是s1和对应位置的隐向量点积得到的。 我们将这样一个长度为7的向量称为encoder端隐向量的一个注意力分数。
而这分数其实就表示s1与每一个encoder端隐向量hi的一个相似程度。值越高表示s1与对应的隐向量相似程度越高。 之后使用softmax函数将其变成概率分布。概率越接近于1则decoder端就会越关注这些位置的向量。
如上图所示前两个位置的概率分布值较高说明会更加关注前两个位置的隐向量。
在第三步我们利用之前得到的注意力分布对encoder端的隐向量进行加权求和然后可以得到一个与隐向量维度相同的输出向量o1。 o1向量也就包含了decoder端当前所需要的encoder端的所有信息。 最后将o1与RNN得到的隐向量s1进行拼接可以得到一个新的表示来表示decoder端这一步的一个状态。用这样一个向量来预测下一步需要生成的单词。
在这个例子当中我们输出的是many这个词对应的就是汉语当中的多个这也可以从注意力分布的高低看出对应关系。 s1输出的是many而many就作为下一轮的输入。
接下来就是不断重复之后我们对于decoder端的每一步都可以自主的关注到encoder不同位置的隐向量。并且预测出一个新的单词。最后得到整个的输出句子。 2、注意力机制的各种变式
变体一加上权重矩阵
如果两个向量的维度不一样我们就需要在中间加上一个权重矩阵来实现两者的相乘最后得到一个标量。
变体二additive attention
additive attention使用了一层的前馈神经网络来将两个向量变成一个标量从而得到注意力分数。 3、注意力机制的特点
注意力机制的出发点是解决信息瓶颈的问题存在的。注意力机制可以缓解RNN当中梯度消失的问题。通过在encoder和decoder之间提供了一种直接连接的方式防止梯度在RNN当中会传播过长进而导致梯度消失。
