本文用于学习TensorFlow的基本使用(基本结构、变量管理、模型持久化)!!!
一.TensorFlow的基本结构
#1.创建计算节点 a = tf.constant([1.2, 1.2], name='a') b = tf.constant([1.0, 1.0], name='b') result = tf.add(a,b,name='add'); #输出运算节点信息 print(result) #2.创建会话 sess = tf.Session() #3.运行计算图 print( sess.run(result) ) #计算张量的值 print( result.eval(session = sess) ) #4.关闭会话,释放资源 sess.close() #1.创建计算节点 a = tf.constant([1.2, 1.2], name='a') b = tf.constant([1.0, 1.0], name='b') result = tf.add(a,b,name='add'); #输出运算节点信息 print(result) #2.创建会话,通过python的上下文管理这个会话,上下文退出时会话关闭和资源释放自动完成 sess = tf.Session() with sess.as_default(): #3.运行计算图 print( sess.run(result) ) #计算张量的值 print( result.eval() )
基于TensorFlow线性回归算法的使用,训练集为鸢尾花的两个特征!!!
#基于TensorFlow线性回归算法的使用,训练集为鸢尾花的两个特征 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt from sklearn import datasets #获得数据集 iris = datasets.load_iris().data print(type(iris)) train = np.array([arr[3]for arr in iris])#花瓣宽度特征 label = np.array([arr[0]for arr in iris])#花瓣长度特征 #1.创建计算节点 #定义占位变量 x_data = tf.placeholder(shape = [None,1], dtype = tf.float32) y_data = tf.placeholder(shape = [None,1], dtype = tf.float32) w = tf.Variable(tf.random_normal([1,1])) b = tf.Variable(tf.random_normal([1,1])) #决策函数 y = tf.add(tf.matmul(x_data, w), b) #均方差损失函数 loss = tf.reduce_mean(tf.square(y_data - y)) #优化算法 train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss) #2.创建会话 sess = tf.Session() #3.运行计算图 init = tf.global_variables_initializer() sess.run(init) steps = 500 batch = 5 for i in range(steps): #获得batch的训练集和标签集 rand_index = np.random.choice(len(train), size = batch) rand_x = np.transpose([train[rand_index]]) rand_y = np.transpose([label[rand_index]]) #训练模型参数 sess.run(train_step, feed_dict = {x_data:rand_x,y_data:rand_y}) if i%30==0: print(sess.run(loss, feed_dict = {x_data:rand_x,y_data:rand_y})) #获得模型参数 [weight] = sess.run(w) [bias] = sess.run(b) #获得拟合结果 result = [] for i in train: result.append(i*weight+bias) #绘制拟合结果 plt.plot(train, label, 'o', label = 'points') plt.plot(train, result, 'r-', label = 'result', linewidth=1) plt.xlabel('x') plt.ylabel('y') plt.show() #4.结束会话 sess.close()
二.TensorFlow的变量管理
#创建变量,两种方式等价 v1 = tf.get_variable("v1", shape=[1], initializer=tf.constant_initializer(1.0)) # v1 = tf.Variable( tf.constant(1.0, shape=[1]), name='v1' ) print( "变量名称:", v1.name ) #生成上下文管理器,同时创建命名空间,在命名空间内创建变量 with tf.variable_scope("space", reuse=False): v2 = tf.get_variable("v2", shape=[1], initializer=tf.constant_initializer(1.0)) #在命名空间创建的变量,在变量名称前会加入命名空间的名称 print( "变量名称:", v2.name )# :0便是这个变量时生成变量这个运算的第一个结果 #嵌套命名空间,内层如果不指定reuse参数时,将会与外层reuse参数相同 with tf.variable_scope("space_"): #获得reuse参数 print( tf.get_variable_scope().reuse ) v4 = tf.get_variable("v2", shape=[1]) print( v4.name ) #生成上下文管理器,在命名空间内获取已经创建过的变量 with tf.variable_scope("space", reuse=True): v3 = tf.get_variable("v2", shape=[1]) #创建一个名称为空的命名空间 with tf.variable_scope("", reuse=True): #通过带命名空间名称的变量名获取其命名空间下的变量 v5 = tf.get_variable( "space/v2", shape=[1] ) #初始化变量 init = tf.initialize_all_variables() #创建会话 with tf.Session() as sess: sess.run( init ) print( sess.run( v1 ) ) print( sess.run( v2 ) ) print( sess.run( v3 ) ) print( sess.run( v4 ) ) print( sess.run( v5 ) )三.TensorFlow模型持久化
import tensorflow as tf #问题:保存TensorFlow模型 #创建变量 v1 = tf.Variable( tf.constant(1.0, shape=[1]), name='v1' ) v2 = tf.Variable( tf.constant(2.0, shape=[1]), name='v2' ) result = v1 + v2 #初始化变量 init = tf.initialize_all_variables() #声明tf.train.Saver类用于保存模型 saver = tf.train.Saver() #创建会话 with tf.Session() as sess: sess.run(init) print( sess.run(result) ) #保存模型 model.ckpt.meta保存计算图的结构 model.ckpt保存每一个变量的取值 #checkpoint保存一个目录下所有的模型文件列表 saver.save( sess, "D:/Code_py/Neural/TensorFlow/model/model.ckpt" ) #问题:加载已经保存的TensorFlow模型 #声明变量 v1 = tf.Variable( tf.constant(1.0, shape=[1]), name='v1' ) v2 = tf.Variable( tf.constant(2.0, shape=[1]), name='v2' ) result = v1 + v2 #声明保存类 saver = tf.train.Saver() #创建会话 声明变量 with tf.Session() as sess: #不需要运行变量的初始化过程,直接加载已经保存的变量 saver.restore( sess, "D:/Code_py/Neural/TensorFlow/model/model.ckpt" ) print( sess.run(result) ) #问题:加载模型的同时变量重命名 #声明变量 v1 = tf.Variable( tf.constant(2.0, shape=[1]), name='other-v1' ) v2 = tf.Variable( tf.constant(2.0, shape=[1]), name='other-v2' ) #将原来名称为v1的变量加载到名称为'other-v1'变量v1中 #将原来名称为v2的变量加载到名称为'other-v2'变量v2中 saver = tf.train.Saver( {"v1":v1, "v2":v2} ) #创建会话 with tf.Session() as sess: #不需要运行变量的初始化过程,直接加载已经保存的变量 saver.restore( sess, "D:/Code_py/Neural/TensorFlow/model/model.ckpt" ) print( sess.run(v1) )
所用知识:
1.TensorFlow分为两个阶段:
1)定义计算图中的计算;
2)执行计算;
2.TensorFlow中所有的数据都通过张量的形式来表示,零阶张量是标量,一阶张量是向量,n阶张量是n维数组。张量中并没有真正保存数字,保存的是如何得到这些数字的计算过程。一个张量保存了三个属性:name,shape,type。
总而言之,计算图上的每一个节点代表一个运算,计算的结果保存在张量之中。
3.TensorFlow目前支持的所有随机数生成器:
tf.random_normal() 正态分布
tf.truncated_normal() 正态分布,随机出来的值偏离平均值超过两个标准差,此数重新随机
tf.random_uniform() 均匀分布
tf.random_gamma() Gamma分布
4.TensorFlow常用的优化算法:
tf.train.GradientDescentOptimizer()
tf.train.AdamOptimizer()
tf.train.MomentumOptimizer()
5.tf提供了通过变量名称来创建或者获取一个变量的机制。通过这个机制,在不同的函数中可以直接通过变量的名字来使用变量,而不需要将变量通过形参的形式传递到函数内。此机制通过tf.get_variable() tf.variable_scope()函数实现。
tf.get_variable()用来创建或者获取变量。当其用于创建变量时,和tf.Variable()功能一样;当其用于获取已经创建的变量时,需要通过tf.variable_scope()函数来生成一个上下文管理器,在此管理器中,tf.get_variable()将直接获取已经创建的变量。
参考资料:
1.《TensorFlow实战Google深度学习框架》
2.TensorFlow实现线性回归 https://blog.csdn.net/lilongsy/article/details/79360458
3.Saver的用法 https://blog.csdn.net/u011500062/article/details/51728830