保存和加载多计算图模型
pre-knowledge
- ckpt.meta/index/data文件 以及 checkpoint文件
这个ckpt是我们自己给的前缀赋名
.ckpt文件:是旧版本的输出saver.save(sess),相当于你的.ckpt-data
“checkpoint”:文件仅用于告知某些TF函数,这是最新的检查点文件。
.ckpt-meta:包含元图,即计算图的结构,没有变量的值(基本上你可以在tensorboard / graph中看到)。
.ckpt-data:包含所有变量的值,没有结构。
.ckpt-index:可能是内部需要的某种索引来正确映射前两个文件,它通常不是必需的
使用tf.train.Saver保存
(1). save= tf.train.Saver() 是用来保存tensorflow训练模型的,默认保存全部参数 【用来指定保存的变量范围 以及 一些设置】 saver.save()用来设置存储地址、多久保存一次 之类的
(2). 用来加载参数,
注:只加载存储在data中的权重和偏置项等需要训练的参数,其他一律不加载,
包括meta文件中的图
注意无论是参数变量还是计算图 都调用save保存
- 只想load计算图
tf.train.import_meta_graph(".meta文件")
多计算图的数据隔离
- tf.global_variables()是各计算图之间隔离的,里面的代码demo也不错的
reference
多进程使用多计算图训练踩坑
-
TF hangs when initializing variables in a multi process setting
里面阐述了为何多进程会hang住,以及处理的两种方法:- 修改multiprocessing默认的开启子进程的方式为fork,我已成功尝试(但是需要用py3)
- 之前我用直接继承Process类的方式去做,失败了。估计也有更改fork方式的API,如果修改了,讲道理也得能成功。
- mp.set_start_method()要在主模块的if __name__ == '__main__'子句中调用
- spawn和别的方式的区别
- 在子进程中再导入tf。这篇blog里面在子进程中导入tf成功了,但是我没有成功
- 修改multiprocessing默认的开启子进程的方式为fork,我已成功尝试(但是需要用py3)
-
起子进程的 simple sample codes:
for cur_index in range(self.NODE_NUM): # some preparation father_conn, child_conn = Pipe() sub_proc = Process(target=createAgent, args=( child_conn, cur_index, ..., )) sub_proc.daemon = True # 退出主进程的时候紫禁城也会退出,防止泄漏 sub_proc.start() # collect father and children conns in order for afterwards operations sub_proces.append(sub_proc) self.par_conns[cur_index] = father_conn
完整版见仓库 fdb0cc2 版本
-
多计算图之间的隔离 sample codes
class ChildNet(): agent_index = 0 def __init__(self, child_conn, dim_state, dim_action, dim_state_g, dim_action_g, act_ind, learning_rate, tau, num_actor_vars, agent_index): #=== gpu_options = tf.GPUOptions(allow_growth=True) self.__sess = tf.Session(graph=tf.Graph(), config=tf.ConfigProto(gpu_options=gpu_options)) self.__conn = child_conn self.__agent_index = agent_index with self.__sess.as_default() as sess: with self.__sess.graph.as_default(): # 这个是必须的!不写的话,会使用默认计算图,而非这个see绑定的计算图 with tf.variable_scope(f'critic_{ self.__agent_index}', reuse=tf.AUTO_REUSE): self.__inputs, self.__action, self.__out = self.buildNetwork(scope='performance_network') def buildNetwork(self, scope=None): inputs = tf.placeholder(tf.float32, [None, self.__dim_s_g]) action = tf.placeholder(tf.float32, [None, self.__dim_a_g]) with tf.variable_scope(scope, reuse=tf.AUTO_REUSE): net = inputs net = tf.contrib.layers.fully_connected(net, 128, activation_fn=tf.nn.leaky_relu) net = tf.contrib.layers.fully_connected(net, 32, activation_fn=tf.nn.leaky_relu) net = tf.contrib.layers.fully_connected(tf.concat([net, action], axis=1), 64, activation_fn=tf.nn.leaky_relu) w_init = tflearn.initializations.uniform(minval=-3e-3, maxval=3e-3) with tf.variable_scope('output', reuse=tf.AUTO_REUSE): out = tf.contrib.layers.fully_connected(net, 1, weights_initializer=w_init, activation_fn=None) return inputs, action, out def train(self, inputs, action, q_predicted, is_weight): with self.__sess.as_default() as sess: with self.__sess.graph.as_default(): return sess.run( ..., ..., )
完整版见仓库 fdb0cc2 版本
请注意如下代码的必要性:with self.__sess.as_default() as sess: with self.__sess.graph.as_default():