1. 思路
这个示例在很多地方都出现过,对于学习理解LSTM的原理极有帮助,因此我们下面就来一步一步地弄清楚其中的奥秘所在!
对于循环神经网络来说,我们首先需要做的仍旧是找到一种将数据序列化的方法。当然,对于古诗词来说,每个字的出现顺序就是天然的一个序列,因此我们就可以直接按照这个序列来处理。并且一首古诗词可以看成是一个样本(为了叙述方便,我们下面仅以一首诗的第一句为例子),例如[[床前明月光],[小时不识月]]
为两个样本。
1.1 网络训练模型
现在暂时假设我们的训练集中只有两个样本x=[[床前明月光],[小时不识月]]
,那么想想此时对应的标签应该是什么?回想一下,我们的目的是利用循环网络来写诗,也就是说当我们把模型训练好了之后,直接喂给模型第一个字,它就能写出一句(或一首)诗了;既然如此,那么我们的训练过程就应该是学习每首古诗中,所有字的一个出现顺序。所以,对于床前明月光
这个样本来说,其对应的标签值就应该是前明月光光
。由此可知,我们的网络模型就应该大致长这样:
![](https://github.com/TolicWang/Pictures/raw/master/Pic/p0032.png)
接下来,为了能更清晰的叙述网络结构而不被其它因素影响,我们在这个小节中就直接用一个汉字来表示一个维度(实际中要将一个汉字转为n维的词向量)。此时,训练样本的维度就应该是shape=[2,5,1]
。在这个示例中,我们采用了两层的LSTM网络外加一个softmax的全连接层,并且LSTM网络的输出维度output_size=32
,于是我们就可以画出下面这个网络示意图:
![](https://github.com/TolicWang/Pictures/raw/master/Pic/p0033.png)
从图中可以看到,第一步:我们是将shape = [2,5,1]
的训练集喂给LSTM网络,然后从网络得到shape=[2,5,32]
的输出;第二步:我们将LSTM网络得到的输出reshape成[10,32]
的矩阵;第三步:再将上一步的结果喂给最后一个softmax全连接网络,这样就能完成对于每个字的分类任务了。
对于第二步为什么要reshape然后喂给第三部的全连接网络,我们可以这样想:假如是一个样本的话,那么LSTM的输出大小就为[1,5,32]
,也就是说第一步喂进去的每一个字通过LSTM这个网络处理之后都变成一个[1,32]
的向量化表示方式,只是第2个字保留了第一个字里面的信息,第3个字保留了跟前面的信息等等。这也就有点类似于卷积网络中先用卷积层对图片进行特征提取,然后再做一个分类处理。于是乎我们就可以发现,其实LSTM网络的本质也是在做一个特征提取的工作,区别于卷积网络的就是:卷积网络提取的是基于空间上的特征,而循环网络提取的是基于时间序列上的特征。至于最后以层,该分类就分类处理,该回归就回归处理。
1.2 网络预测模型
当网络经过训练完成后就可以拿来预测了,只不过在预测的时候我们喂给网络的就只是一个字了;然后用当前预测得到的字作为下一个字;如下图所示:
![](https://github.com/TolicWang/Pictures/raw/master/Pic/p0034.png)
1.3 数据处理
经过上面的讲解,我们大致明白了基于LSTM网络古诗生成原理:先用LSTM做特征提取,然后分类。既然最后我们要完成的是一个分类任务,那么我们不得不做的就是将所有的类别给整理处理,也就是所有的数据集中一共包含了多少个不同的字,因为我们来做的就是根据上一个字预测下一个字。
同时由于我们处理的是文本信息,因此我们需要将每个字都采用词(字)向量的形式表示,由于没有现成的词向量,所有我们要再LSTM的前面假加入一个词嵌入层。
最后,为了避免最终的分类数过于庞大,可以选择去掉出现频率较小的字,比如可以去掉只出现过一次的字。
总结一下数据预处理的步骤:
- 1.统计出所有不同的字,并做成一个字典;
- 2.对于每首诗,将每个字、标点都转换为字典中对应的编号,构成X;
- 3.将X整体左移动以为构成Y
2. 代码讲解
在此首先感谢Github上的jinfagang,hzy46这两位作者,因为整体代码都是参照的他们的,加了一点点自己的元素。
2.1 数据预处理
先来看看原始的数据集长什么样:
首春:寒随穷律变,春逐鸟声开。初风飘带柳,晚雪间花梅。碧林青旧竹,绿沼翠新苔。芝田初雁去,绮树巧莺来。
初晴落景:晚霞聊自怡,初晴弥可喜。日晃百花色,风动千林翠。池鱼跃不同,园鸟声还异。寄言博通者,知予物外志。
而我们需要得到的是类似于这样的:
X:
[[1,4,6,3,2,5,3,0,0,0],
[5,6,4,3,9,1,0,0,0,0]]
Y:
[[4,6,3,2,5,3,0,0,0,0],
[6,4,3,9,1,0,0,0,0,0]]
其中的0表示,我设定了一首诗的最大长度,如果不足就补0(因为每首诗的长度不一样);而其它的数字则表示诗中每个字以及标点在字典中的索引。同时,为了后面的生成诗时候的转换,我们还需要得到字典。
而这只需要tensorflow中的几行代码就能搞定(友情提示:在统计词频使用Counter()
这个类时,对于同一词频的词在字典中的排列顺序window平台和linux平台的处理结果不一样)。以下只是部分代码,完整参见源码中的data_helper.py
模块
vocab_processor = VocabularyProcessor(max_document_length=max_length,min_frequency=5)
x = np.array(list(vocab_processor.fit_transform(poems)))
dictionary = vocab_processor.vocabulary_.__dict__.copy()
fre = dictionary['_freq']
# print(sorted(fre.items(), key=lambda x: x[1], reverse=True))
word_to_int = dictionary['_mapping']
int_to_word = dictionary['_reverse_mapping']
np.random.seed(50)
shuffle_index = np.random.permutation(x.shape[0])
shuffle_x = x[shuffle_index]
shuffle_y = np.copy(shuffle_x)
shuffle_y[:, :-1] = shuffle_x[:, 1:]
2.2 网络构建
在整个网络构建中,主要分成了四个部分build_input(),build_rnn(),ttrain(),compose_poem()
。下面就挑重点的说。
2.2.1 build_input()
由2.1节可知,我们预处理后得到数据的形式是二维的,所以在定义placeholder
也要是二维的;同时,由于要采用词向量进行表示,所以此处还要加入一个词嵌入层。代码如下:
with tf.name_scope('model_inputs'):
self.inputs = tf.placeholder(dtype=tf.int32, shape=[self.batch_size, None], name='input-x')
self.targets = tf.placeholder(dtype=tf.int64, shape=[self.batch_size, None], name='input-y')
with tf.name_scope('embedding_layer'):
self.embedding = tf.Variable(tf.truncated_normal(shape=[self.num_class, self.embedding_size], stddev=0.1),name='embedding')
self.model_inputs = tf.nn.embedding_lookup(self.embedding,
self.inputs)
由于我们训练时inputs
的第二个维度为诗的长度,预测时为1,所以就写成了None
2.2.1 build_rnn()
with tf.name_scope('build_rnn_model'):
cell = tf.nn.rnn_cell.MultiRNNCell(
[get_a_cell(self.rnn_size) for _ in range(self.num_layer)]) # 搭建num_layer层的模型
self.initial_state = cell.zero_state(batch_size=self.batch_size, dtype=tf.float32)
self.outputs, self.final_state = tf.nn.dynamic_rnn(cell, inputs=self.model_inputs,
initial_state=self.initial_state)
output = tf.reshape(self.outputs, [-1, self.rnn_size])
第7行代码就是图(id:p0033)中的第二步。接下来就是一个全连接:
with tf.name_scope('full_connection'):
weights = tf.Variable(tf.truncated_normal(shape=[self.rnn_size, self.num_class]),
name='weights') # [128,5000]
bias = tf.Variable(tf.zeros(shape=[self.num_class]), name='bias')
self.logits = tf.nn.xw_plus_b(output, weights, bias, name='logits')
构造损失:
with tf.name_scope('loss'):
labels = tf.reshape(self.targets, [-1])
loss = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=self.logits)
self.loss = tf.reduce_mean(loss)
预测值和准确率
with tf.name_scope('accuracy'):
self.proba_prediction = tf.nn.softmax(self.logits, name='output_probability')
self.prediction = tf.argmax(self.proba_prediction, axis=1, name='output_prediction')
correct_predictions = tf.equal(self.prediction, labels)
self.accuracy = tf.reduce_mean(tf.cast(correct_predictions, tf.float32))
![](https://github.com/TolicWang/Pictures/raw/master/Pic/p0035.png)
![](https://raw.githubusercontent.com/TolicWang/Pictures/master/Pic/p9999.png)