可以做微信推文的网站,百度产品有哪些,个人建设门户网站 如何备案,安庆跨境电商建站哪家好文章目录1 语言模型2 语言模型评价指标#xff1a;Perplexity3 基于神经网络的语言模型3.1 RNN3.2 LSTM3.3 GRU4 优化函数5 模型代码6 用途与评价1 语言模型
语言模型的任务是判断一句话出现的概率#xff08;也就是说一句话是不是人说的#xff09;#xff0c;可以表示为…
文章目录1 语言模型2 语言模型评价指标Perplexity3 基于神经网络的语言模型3.1 RNN3.2 LSTM3.3 GRU4 优化函数5 模型代码6 用途与评价1 语言模型
语言模型的任务是判断一句话出现的概率也就是说一句话是不是人说的可以表示为P(W)P(w1,w2,...wn)P(W)P(w_1,w_2,...w_n)P(W)P(w1,w2,...wn) 使用链式法则求概率 P(W)P(w1,w2,...wn)∏iP(wi∣w1,w2,...wi−1)P(W)P(w_1,w_2,...w_n)\prod_iP(w_i|w_1,w_2,...w_{i-1})P(W)P(w1,w2,...wn)∏iP(wi∣w1,w2,...wi−1)
P(wi∣w1,w2,...wi−1)P(w_i|w_1,w_2,...w_{i-1})P(wi∣w1,w2,...wi−1)计算复杂度非常高。 在马尔科夫假设中一个词出现的概率只与前一个词相关那么P(wi∣w1,w2,...wi−1)P(wi∣wi−1)P(w_i|w_1,w_2,...w_{i-1})P(w_i|w_{i-1})P(wi∣w1,w2,...wi−1)P(wi∣wi−1) 也有n2是2元模型
2 语言模型评价指标Perplexity 句子概率越大Perplexity越低。也就是说Perplexity低的语言模型好。
详细信息阅读博客https://www.cnblogs.com/shona/p/10827339.html
3 基于神经网络的语言模型
模型学习任务是根据当前词猜测下一个词。 用神经网络学习到概率P。
3.1 RNN 梯度消失和梯度爆炸问题 1 在反向传播过程中有连续相乘的操作 2 如果相乘的值大于1那么就可能发生梯度爆炸。解决截断 3 如果相乘的值小于1那么就可能发生梯度消失。解决使用Relu(x) max(0,x) 还有距离远的信息不容易被RNN保留。
3.2 LSTM 忘记门 输入门 更新门 输出门
3.3 GRU
GRU是LSTM的改进参数量更少。
4 优化函数
交叉熵损失函数
5 模型代码
class RNNModel(nn.Module):一个简单的循环神经网络def __init__(self, rnn_type, vocab_size, embedding_size, hidden_size, nlayers, dropout0.5)::param rnn_type: LSTM/GRU:param vocab_size: 词库大小:param embedding_size::param hidden_size::param nlayers: 纵向有多少层神经网络:param dropout:super(RNNModel, self).__init__()self.drop nn.Dropout(dropout)self.embedding nn.Embedding(vocab_size, embedding_size)if rnn_type in [LSTM, GRU]:# getattr(nn, rnn_type) 相当于 nn.rnn_typeself.rnn getattr(nn, rnn_type)(embedding_size, hidden_size, nlayers, dropoutdropout)else:try:nonlinearity {RNN_TANH: tanh, RNN_RELU: relu}[rnn_type]except KeyError:raise ValueError(An invalid option for --model was supplied,options are [LSTM, GRU, RNN_TANH or RNN_RELU])self.rnn nn.RNN(embedding_size, hidden_size, nlayers, nonlinearitynonlinearity, dropoutdropout)# 全连接层self.decoder nn.Linear(hidden_size, vocab_size)self.init_weights()self.rnn_type rnn_typeself.embedding_size embedding_sizeself.hidden_size hidden_sizeself.nlayers nlayersdef init_weights(self):init_range 0.1self.embedding.weight.data.uniform_(-init_range, init_range)self.decoder.bias.data.zero_()self.decoder.weight.data.uniform_(-init_range, init_range)def forward(self, input, hidden):一个神经网络:param input:一个序列的词input.shape seq_len*batch_size 50*32:param hidden:hidden (nlayers * 32 * hidden_size, nlayers * 32 * hidden_size):return:# hidden是个元组输入有两个参数一个是刚开始的隐藏层h的维度一个是刚开始的用于记忆的c的维度# 这两个层的维度一样并且需要先初始化hidden_size的维度和上面nhid的维度一样 100我理解这两个是同一个东西。??embed self.drop(self.embedding(input)) # emb.shapetorch.Size([seq_len, batch_size, hidden_size]) # 输入数据的维度# 还有一种接参数的方式是output, (hidden,c_state) self.rnn(embed, hidden)output, hidden self.rnn(embed, hidden) # output.shape seq_len * batch_size * hidden_size # 最终输出数据的维度# hidden (h层维度nlayers * batch_size * hidden_size, c层维度nlayers * batch_size * hidden_size)output self.drop(output)# output最后的输出层一定要是二维的只是为了能进行全连接层的运算。# 所以把前两个维度拼接在一起seq_len * batch_size * hidden_sizedecoded self.decoder(output.view(output.size(0) * output.size(1), output.size(2))) # seq_len * batch_size * vocab_size# 我们需要知道每个位置预测的下一个单词是哪个pred形状seq_len * batch_size * vocab_sizepred decoded.view(output.size(0), output.size(1), decoded.size(1))return pred, hiddendef init_hidden(self, bsz, requires_gradTrue):# 初始化隐藏的参数weight next(self.parameters())if self.rnn_type LSTM:return (weight.new_zeros((self.nlayers, bsz, self.hidden_size), requires_gradrequires_grad),weight.new_zeros((self.nlayers, bsz, self.hidden_size), requires_gradrequires_grad))else:return weight.new_zeros((self.nlayers, bsz, self.hidden_size), requires_gradrequires_grad)# GRU 神经网络把h层和c层合并了所以这里只有一个参数
6 用途与评价
评价语言模型一个是使用perplexity指标。另外一个是使用模型生成一段文本看下通畅度。
