tensorflow:用dynamic_rnn处理不定长序列,对序列做padding处理

1. 数据处理(padding zero)

首先,我有一个list类型的数据集,按最长将序列的长度存储,不足长度的后面padding zero。将数据集存为ndarray类型的矩阵:

[python]  view plain  copy
  1. <span><span class="cm-keyword">import</span> <span class="cm-variable">numpy</span> <span class="cm-keyword">as</span> <span class="cm-variable">np</span></span>  
dataset = [[[1], [2], [3], [4]],            # list类型的数据集,有4个序列, feature_dim=1
           [[2], [4], [1]], 
           [[5], [2], [7], [3], [8]],
           [[9], [7]]] 
feature_dim = 1
num_samples = len(dataset)          # 序列的个数。输出:4
lengths = [len(s) for s in dataset] # 获取每个序列的长度。输出:[4, 3, 5, 2]
max_length = max(lengths)           # 最长序列的长度。输出:5
padding_dataset = np.zeros([num_samples, max_length, feature_dim]) # 生成一个全零array来存放padding后的数据集
for idx, seq in enumerate(dataset): # 将序列放入array中(相当于padding成一样长度)
    padding_dataset[idx, :len(seq), :] = seq
print(padding_dataset) # <type 'numpy.ndarray'>
[[[ 1.]
  [ 2.]
  [ 3.]
  [ 4.]
  [ 0.]]

 [[ 2.]
  [ 4.]
  [ 1.]
  [ 0.]
  [ 0.]]

 [[ 5.]
  [ 2.]
  [ 7.]
  [ 3.]
  [ 8.]]

 [[ 9.]
  [ 7.]
  [ 0.]
  [ 0.]
  [ 0.]]]
 
  

如果已知padding的数据,想知道去掉零以后实际这批序列的长度,参考Variable Sequence Lengths in TensorFlow 里的Computing the Sequence Length一节。


2. 用dynamic_rnn运行数据

[python]  view plain  copy
  1. outputs, last_states = tf.nn.dynamic_rnn(  
  2.     cell=cell,  
  3.     inputs=padding_dataset,  
  4.     sequence_length=lengths)  

猜你喜欢

转载自blog.csdn.net/zzx3163967592/article/details/80810939