Tensorflow中可视化好助手Tensorboard(一)中,已经讲过如何可视化TensorBoard整个神经网络结构的过程。其实TensorBoard还可以可视化训练过程(weights、biase和outputs变化过程)。本篇文章,讲解一下可视化训练过程的图片如何产生。
首先,看效果图:
我们实现的神经网络还是《用Tensorflow构建一个神经网络》中的神经网络。
图1:神经网络中weights、biases、outputs每训练50次参数的变化折现图
第一层:是输入层到隐藏层的参数。因为此隐藏层有10个神经元,所以有10个biase、10个weight、10个output。
第二层:是隐藏层到输出层的参数。有10个weight、1个biase。
图2:在histograms中每层参数的变化
图3:在SCALARS中整个训练过程中误差值的变化
(1)制作输入源
由于我们观察训练过程中神经网络的变化,所以首先要添加一些模拟数据。Python的numpy工具包可以帮助我们制造一些模拟的数据。所以我们先导入这个工具包:
# 导入本次需要的模块 import tensorflow as tf import numpy as np
然后,借助np中的np.linespace()产生随机的数字,同时为了模拟更加真实我们添加了一些噪声,这些噪声是通过np.random.normal()随机产生的。
#################导入数据################################## # 构建所需要的数据。这里的x_data和y_data并不是严格的一元二次函数的关系, # 因为我们多加了一个noise,这样看起来会更像真实情况。 x_data = np.linspace(-1,1,300)[:,np.newaxis] noise = np.random.normal(0,0.05,x_data.shape) y_data = np.square(x_data) - 0.5 + noise
(2)制作Weights和biases的变化图表。
我们希望可以做到图1所示的图表,那么首先从Layer1中开始吧!
在layer中为Weights、biases设置变化图表。
通过图1 我们观察到每个layer后面有一个数字:layer1和layer2。于是我们在add_layer()方法中添加一个参数n_layer,用来标识层数,并且用变量layer_name代表其每层的名称,代码如下:
def add_layer(inputs,in_size,out_size,n_layer,activation_function=None): layer_name = "layer%s"%n_layer with tf.name_scope(layer_name): ## and so on
接下来,我们层中的Weights设置变化图,tensorflow提供了tf.summary.histogram()方法,用来绘制图片,第一个参数是图表的名称,第二个参数是图表要记录的变量。
def add_layer(inputs, in_size, out_size, n_layer, activation_function=None): ## add one more layer and return the output of this layer layer_name='layer%s'%n_layer with tf.name_scope(layer_name): with tf.name_scope('weights'): Weights= tf.Variable(tf.random_normal([in_size, out_size]),name='W') # tf.histogram_summary(layer_name+'/weights',Weights) # tensorflow 0.12 以下版的 tf.summary.histogram(layer_name + '/weights', Weights) # tensorflow >= 0.12 ##and so no ……
同样的方法,我们对biases进行绘制图标:
with tf.name_scope('biases'): biases = tf.Variable(tf.zeros([1,out_size])+0.1, name='b') # tf.histogram_summary(layer_name+'/biase',biases) # tensorflow 0.12 以下版的 tf.summary.histogram(layer_name + '/biases', biases) # Tensorflow >= 0.12
我们对output使用同样的方法:
# tf.histogram_summary(layer_name+'/outputs',outputs) # tensorflow 0.12 以下版本 tf.summary.histogram(layer_name + '/outputs', outputs) # Tensorflow >= 0.12
最终,经过我们的修改,addlayer()方法如下:
# 构造添加一个神经层的函数 def add_layer(inputs,in_size,out_size,n_layer,activation_function=None): layer_name = "layer%s"%n_layer with tf.name_scope(layer_name): with tf.name_scope("weights"): # 定义weights为一个in_size行,out_size列的随机变量矩阵 Weights = tf.Variable(tf.random_normal([in_size,out_size]),name="W") tf.summary.histogram(layer_name + "/weights",Weights) with tf.name_scope("biases"): biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name="b") tf.summary.histogram(layer_name + "/biases", biases) with tf.name_scope("Wx_plus_b"): Wx_plus_b = tf.add(tf.matmul(inputs,Weights),biases) if activation_function is None: outputs = Wx_plus_b else: outputs = activation_function(Wx_plus_b,) tf.summary.histogram(layer_name + "/outputs", outputs) return outputs
由于,我们对addlayer添加了一个参数,所以修改之前调用addlayer()函数的地方。对此进行修改:
# 输入层只有一个属性,所以我们就只有一个输入。 # 我设置隐藏层有10个神经元 # 输出层也只有一层 l1 = add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu) prediction = add_layer(l1,10,1,n_layer=2,activation_function=None)
(3)设置loss的变化图
Loss的变化图和之前设置的方法略有不同,loss是在tensorBoard的SCALARS下面的,这是由于我们使用的是tf.summary.scalar()方法。具体效果如图3所示。
观看Loss的变化比较重要。当你的loss呈下降的趋势,说明你的神经网络训练是有效果的。代码如下:
with tf.name_scope('loss'): loss= tf.reduce_mean(tf.reduce_sum( tf.square(ys- prediction), reduction_indices=[1])) # tf.scalar_summary('loss',loss) # tensorflow < 0.12 tf.summary.scalar('loss', loss) # tensorflow >= 0.12
(4)给所有训练图进行合并
接下来,我们开始合并打包。tf.summary.merge_all()方法会对我们所有的summaries合并到一起。因此在原有的代码片段中添加:
sess= tf.Session() # merged= tf.merge_all_summaries() # tensorflow < 0.12 merged = tf.summary.merge_all() # tensorflow >= 0.12 # writer = tf.train.SummaryWriter('logs/', sess.graph) # tensorflow < 0.12 writer = tf.summary.FileWriter("logs/", sess.graph) # tensorflow >=0.12 # sess.run(tf.initialize_all_variables()) # tf.initialize_all_variables() # tf 马上就要废弃这种写法 sess.run(tf.global_variables_initializer()) # 替换成这样就好
(5)训练数据
假定给出了x_data,y_data并且训练1000次。
for i in range(1000): sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
以上的代码仅仅会绘制出训练的图表,但是不会记录训练的数据。为了较为直观的显示训练过程中每个参数的变化,我们每隔上50次就记录一次结果。同时我们也应该注意,merged也是需要run才能发挥作用的,所以在for循环中写下:
if i % 50 ==0: result = sess.run(merged,feed_dict={xs:x_data,ys:y_data}) writer.add_summary(result, i)
最后,总体的代码如下:
for i in range(1000): sess.run(train_step,feed_dict={xs:x_data,ys:y_data}) if i % 50 ==0: result = sess.run(merged,feed_dict={xs:x_data,ys:y_data}) writer.add_summary(result, i)
好了!终于把代码部分搞定了!下面,运行你的程序。
程序完成之后,你会在你的程序目录中找到产生的logs文件夹和文件夹里放的文件。
(6)在tensorboard中查看效果
在你的终端中,使用命令进入到test目录,然后输入tensorboard --logdir logs,然后终端中会产生一个网址,把这个网址复制到浏览器中,便可以看到神经网络中参数的变化了。
可能遇到的问题:
(1)与Tensorflow兼容的浏览器是“Google Chrome”。使用其他的浏览器不保证所有的内容都能正常显示。
(2)请确保你的Tensorboard指令是在你的logs文件根目录中执行的。如果在其他目录执行,可能不会成功看到图。
给出完整的代码:
#coding:utf-8 # 导入本次需要的模块 import tensorflow as tf import numpy as np ''' inputs:输入值 in_size:输入的大小 out_size:输出的大小 activation_function:激活函数 ''' # 构造添加一个神经层的函数 def add_layer(inputs,in_size,out_size,n_layer,activation_function=None): layer_name = "layer%s"%n_layer with tf.name_scope(layer_name): with tf.name_scope("weights"): # 定义weights为一个in_size行,out_size列的随机变量矩阵 Weights = tf.Variable(tf.random_normal([in_size,out_size]),name="W") tf.summary.histogram(layer_name + "/weights",Weights) with tf.name_scope("biases"): biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name="b") tf.summary.histogram(layer_name + "/biases", biases) with tf.name_scope("Wx_plus_b"): Wx_plus_b = tf.add(tf.matmul(inputs,Weights),biases) if activation_function is None: outputs = Wx_plus_b else: outputs = activation_function(Wx_plus_b,) tf.summary.histogram(layer_name + "/outputs", outputs) return outputs #################导入数据################################## # 构建所需要的数据。这里的x_data和y_data并不是严格的一元二次函数的关系, # 因为我们多加了一个noise,这样看起来会更像真实情况。 x_data = np.linspace(-1,1,300)[:,np.newaxis] noise = np.random.normal(0,0.05,x_data.shape) y_data = np.square(x_data) - 0.5 + noise # 利用占位符定义我们所需要的神经网络的输入。 # None代表无论输入有多少样本都可以。因为输入只有一个特征,所以这里是1。 with tf.name_scope("inputs"): xs = tf.placeholder(tf.float32,[None,1], name="x_input") ys = tf.placeholder(tf.float32,[None,1], name="y_input") #################导入数据################################## #################搭建神经网络################################## # 输入层只有一个属性,所以我们就只有一个输入。 # 我设置隐藏层有10个神经元 # 输出层也只有一层 l1 = add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu) prediction = add_layer(l1,10,1,n_layer=2,activation_function=None) # 定义损失函数 with tf.name_scope("loss"): loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction),reduction_indices=[1])) tf.summary.scalar("loss",loss) # 让神经网络通过梯度下降法来训练,这里的0.1是学习率 with tf.name_scope("train"): train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) # 使用变量时,都要对变量进行初始化 init = tf.initialize_all_variables() # 定义Session,并用Session来执行init初始化步骤 sess = tf.Session() merged = tf.summary.merge_all() writer = tf.summary.FileWriter("logs/",sess.graph) sess.run(init) #################搭建神经网络################################## for i in range(1000): sess.run(train_step,feed_dict={xs:x_data,ys:y_data}) if i % 50 ==0: result = sess.run(merged,feed_dict={xs:x_data,ys:y_data}) writer.add_summary(result, i)观看视频笔记:https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/4-2-tensorboard2/