做网站的边框素材,如何做网站的链接结构,我想网上开店怎么开,wordpress xrea雷锋网 AI科技评论按#xff1a;本文作者何之源#xff0c;原文载于知乎专栏AI Insight#xff0c;雷锋网(公众号#xff1a;雷锋网) AI科技评论获其授权发布。
上周写的文章《完全图解RNN、RNN变体、Seq2Seq、Attention机制》介绍了一下RNN的几种结构#xff0c;今天就来…雷锋网 AI科技评论按本文作者何之源原文载于知乎专栏AI Insight雷锋网(公众号雷锋网) AI科技评论获其授权发布。
上周写的文章《完全图解RNN、RNN变体、Seq2Seq、Attention机制》介绍了一下RNN的几种结构今天就来聊一聊如何在TensorFlow中实现这些结构这篇文章的主要内容为 一个完整的、循序渐进的学习TensorFlow中RNN实现的方法。这个学习路径的曲线较为平缓应该可以减少不少学习精力帮助大家少走弯路。 一些可能会踩的坑 TensorFlow源码分析 一个Char RNN实现示例可以用来写诗生成歌词甚至可以用来写网络小说项目地址https://github.com/hzy46/Char-RNN-TensorFlow
一、学习单步的RNNRNNCell
如果要学习TensorFlow中的RNN第一站应该就是去了解“RNNCell”它是TensorFlow中实现RNN的基本单元每个RNNCell都有一个call方法使用方式是(output, next_state) call(input, state)。
借助图片来说可能更容易理解。假设我们有一个初始状态h0还有输入x1调用call(x1, h0)后就可以得到(output1, h1) 再调用一次call(x2, h1)就可以得到(output2, h2) 也就是说每调用一次RNNCell的call方法就相当于在时间上“推进了一步”这就是RNNCell的基本功能。
在代码实现上RNNCell只是一个抽象类我们用的时候都是用的它的两个子类BasicRNNCell和BasicLSTMCell。顾名思义前者是RNN的基础类后者是LSTM的基础类。这里推荐大家阅读其源码实现地址http://t.cn/RNJrfMl一开始并不需要全部看一遍只需要看下RNNCell、BasicRNNCell、BasicLSTMCell这三个类的注释部分应该就可以理解它们的功能了。
除了call方法外对于RNNCell还有两个类属性比较重要 state_size output_size
前者是隐层的大小后者是输出的大小。比如我们通常是将一个batch送入模型计算设输入数据的形状为(batch_size, input_size)那么计算时得到的隐层状态就是(batch_size, state_size)输出就是(batch_size, output_size)。
可以用下面的代码验证一下注意以下代码都基于TensorFlow最新的1.2版本 import tensorflow as tf import numpy as np cell tf.nn.rnn_cell.BasicRNNCell(num_units128) # state_size 128 print(cell.state_size) # 128 inputs tf.placeholder(np.float32, shape(32, 100)) # 32 是 batch_size h0 cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态形状为(batch_size, state_size) output, h1 cell.call(inputs, h0) #调用call函数 print(h1.shape) # (32, 128) 对于BasicLSTMCell情况有些许不同因为LSTM可以看做有两个隐状态h和c对应的隐层就是一个Tuple每个都是(batch_size, state_size)的形状 import tensorflow as tf import numpy as np lstm_cell tf.nn.rnn_cell.BasicLSTMCell(num_units128) inputs tf.placeholder(np.float32, shape(32, 100)) # 32 是 batch_size h0 lstm_cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态 output, h1 lstm_cell.call(inputs, h0) print(h1.h) # shape(32, 128) print(h1.c) # shape(32, 128) 二、学习如何一次执行多步tf.nn.dynamic_rnn
基础的RNNCell有一个很明显的问题对于单个的RNNCell我们使用它的call函数进行运算时只是在序列时间上前进了一步。比如使用x1、h0得到h1通过x2、h1得到h2等。这样的h话如果我们的序列长度为10就要调用10次call函数比较麻烦。对此TensorFlow提供了一个tf.nn.dynamic_rnn函数使用该函数就相当于调用了n次call函数。即通过{h0,x1, x2, …., xn}直接得{h1,h2…,hn}。
具体来说设我们输入数据的格式为(batch_size, time_steps, input_size)其中time_steps表示序列本身的长度如在Char RNN中长度为10的句子对应的time_steps就等于10。最后的input_size就表示输入数据单个序列单个时间维度上固有的长度。另外我们已经定义好了一个RNNCell调用该RNNCell的call函数time_steps次对应的代码就是 # inputs: shape (batch_size, time_steps, input_size) # cell: RNNCell # initial_state: shape (batch_size, cell.state_size)。初始状态。一般可以取零矩阵 outputs, state tf.nn.dynamic_rnn(cell, inputs, initial_stateinitial_state) 此时得到的outputs就是time_steps步里所有的输出。它的形状为(batch_size, time_steps, cell.output_size)。state是最后一步的隐状态它的形状为(batch_size, cell.state_size)。
此处建议大家阅读tf.nn.dynamic_rnn的文档地址https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn做进一步了解。
三、学习如何堆叠RNNCellMultiRNNCell
很多时候单层RNN的能力有限我们需要多层的RNN。将x输入第一层RNN的后得到隐层状态h这个隐层状态就相当于第二层RNN的输入第二层RNN的隐层状态又相当于第三层RNN的输入以此类推。在TensorFlow中可以使用tf.nn.rnn_cell.MultiRNNCell函数对RNNCell进行堆叠相应的示例程序如下 import tensorflow as tf import numpy as np # 每调用一次这个函数就返回一个BasicRNNCell def get_a_cell(): return tf.nn.rnn_cell.BasicRNNCell(num_units128) # 用tf.nn.rnn_cell MultiRNNCell创建3层RNN cell tf.nn.rnn_cell.MultiRNNCell([get_a_cell() for _ in range(3)]) # 3层RNN # 得到的cell实际也是RNNCell的子类 # 它的state_size是(128, 128, 128) # (128, 128, 128)并不是128x128x128的意思 # 而是表示共有3个隐层状态每个隐层状态的大小为128 print(cell.state_size) # (128, 128, 128) # 使用对应的call函数 inputs tf.placeholder(np.float32, shape(32, 100)) # 32 是 batch_size h0 cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态 output, h1 cell.call(inputs, h0) print(h1) # tuple中含有3个32x128的向量 通过MultiRNNCell得到的cell并不是什么新鲜事物它实际也是RNNCell的子类因此也有call方法、state_size和output_size属性。同样可以通过tf.nn.dynamic_rnn来一次运行多步。
此处建议阅读MutiRNNCell源码地址http://t.cn/RNJrfMl中的注释进一步了解其功能。
四、可能遇到的坑1Output说明
在经典RNN结构中有这样的图 在上面的代码中我们好像有意忽略了调用call或dynamic_rnn函数后得到的output的介绍。将上图与TensorFlow的BasicRNNCell对照来看。h就对应了BasicRNNCell的state_size。那么y是不是就对应了BasicRNNCell的output_size呢答案是否定的。
找到源码中BasicRNNCell的call函数实现 def call(self, inputs, state): Most basic RNN: output new_state act(W * input U * state B). output self._activation(_linear([inputs, state], self._num_units, True)) return output, output 这句“return output, output”说明在BasicRNNCell中output其实和隐状态的值是一样的。因此我们还需要额外对输出定义新的变换才能得到图中真正的输出y。由于output和隐状态是一回事所以在BasicRNNCell中state_size永远等于output_size。TensorFlow是出于尽量精简的目的来定义BasicRNNCell的所以省略了输出参数我们这里一定要弄清楚它和图中原始RNN定义的联系与区别。
再来看一下BasicLSTMCell的call函数定义函数的最后几行 new_c ( c * sigmoid(f self._forget_bias) sigmoid(i) * self._activation(j)) new_h self._activation(new_c) * sigmoid(o) if self._state_is_tuple: new_state LSTMStateTuple(new_c, new_h) else: new_state array_ops.concat([new_c, new_h], 1) return new_h, new_state 我们只需要关注self._state_is_tuple True的情况因为self._state_is_tuple False的情况将在未来被弃用。返回的隐状态是new_c和new_h的组合而output就是单独的new_h。如果我们处理的是分类问题那么我们还需要对new_h添加单独的Softmax层才能得到最后的分类概率输出。
还是建议大家亲自看一下源码实现地址http://t.cn/RNJsJoH来搞明白其中的细节。
五、可能遇到的坑2因版本原因引起的错误
在前面我们讲到堆叠RNN时使用的代码是 # 每调用一次这个函数就返回一个BasicRNNCell def get_a_cell(): return tf.nn.rnn_cell.BasicRNNCell(num_units128) # 用tf.nn.rnn_cell MultiRNNCell创建3层RNN cell tf.nn.rnn_cell.MultiRNNCell([get_a_cell() for _ in range(3)]) # 3层RNN 这个代码在TensorFlow 1.2中是可以正确使用的。但在之前的版本中以及网上很多相关教程实现方式是这样的 one_cell tf.nn.rnn_cell.BasicRNNCell(num_units128) cell tf.nn.rnn_cell.MultiRNNCell([one_cell] * 3) # 3层RNN 如果在TensorFlow 1.2中还按照原来的方式定义就会引起错误
参考自https://www.leiphone.com/news/201709/QJAIUzp0LAgkF45J.html
