tensorflow.keras入门1-基本函数介绍
目前keras API 已经整合到 tensorflow中,在tensorflow中通过tf.keras就可以调用keras。
import tensorflow as tf
from tensorflow import keras
tf.keras可以调用所有的keras编译代码,但是有两个限制:
1.版本问题,需要通过tf.keras.__version__确认版本。
2.模型保存问题,tf.keras默认使用 checkpoint format格式,而keras模型的保存格式HDF5需要借用函数save_format=‘h5’
构建一个简单的模型–序贯(Sequential)模型
序贯模型就是是多个网络层的线性堆叠,比如多层感知机,BP神经网络。tf.keras构建一个简单的全连通网络(即多层感知器)代码如下:
#建立序贯模型
model = keras.Sequential()
#添加全连接层,节点数为64,激活函数为relu函数,dense表示标准的一维全连接层
model.add(keras.layers.Dense(64, activation='relu'))
#添加全连接层,节点数为64,激活函数为relu函数
model.add(keras.layers.Dense(64, activation='relu'))
#添加输出层,输出节点数为10
model.add(keras.layers.Dense(10, activation='softmax'))
网络层的构造
通常在tf.keras中,网络层的构造参数主要有以下几个:
1.激活函数activation function,默认是没有激活函数的。
2.参数初始化,默认通过正态分布初始化(Glorot uniform)
3.参数正则化,包括权值初始化和偏置的初始化。
#参数调整
#建立一个sigmoid层
layers.Dense(64, activation='sigmoid')
#或者
layers.Dense(64, activation=tf.sigmoid)
#权重L1正则化
layers.Dense(64, kernel_regularizer=keras.regularizers.l1(0.01))
#偏置L2正则化
layers.Dense(64, bias_regularizer=keras.regularizers.l2(0.01))
#权重正交矩阵的随机数初始化
layers.Dense(64, kernel_initializer='orthogonal')
#偏置常数初始化
layers.Dense(64, bias_initializer=keras.initializers.constant(2.0))
模型训练和参数评价
模型训练
模型建立后,通过compile模块确定模型的训练参数tf.keras.Model.compile有三个主要参数:
1.优化器optimizer:通过tf.train模块调用优化器.
2.损失函数loss:通过tf.keras.losses模块调用损失函数.
3.模型评估方法metrics:通过tf.keras.metrics调用评估参数.
# 配置均方误差回归模型
model.compile(optimizer=tf.train.AdamOptimizer(0.01),
loss='mse', # 均方差
metrics=['mae']) # 平均绝对误差
# 配置分类模型
model.compile(optimizer=tf.train.RMSPropOptimizer(0.01),
loss=keras.losses.categorical_crossentropy, #多类的对数损失
metrics=[keras.metrics.categorical_accuracy]) #多分类问题,所有预测值上的平均正确率
对于小数据集,使用numpy数组,通过tf.keras.Model.fit模块来训练和评估模型。
import numpy as np
#输入数据(1000,32)
data = np.random.random((1000, 32))
#输入标签(1000,10)
labels = np.random.random((1000, 10))
#模型训练
model.fit(data, labels, epochs=10, batch_size=32)
tf.keras.Model.fit模块有三个重要的参数:
1.训练轮数epochs:epochs指的就是训练过程中数据将被训练多少轮,一个epoch指的是当一个完整的数据集通过了神经网络一次并且返回了一次。
2.批训练大小batch_size:基本上现在的梯度下降都是基于mini-batch的,即将一个完整数据分为batch_size个批次进行训练。
3.验证集validation_data:通常一个模型训练,评估要有训练集,验证集和测试集。验证集就是模型调参时用来评估模型的数据集。
对于大型数据集,常常通过tf.data模块来调用数据。
# 数据实例化
dataset = tf.data.Dataset.from_tensor_slices((data, labels))
dataset = dataset.batch(32)
dataset = dataset.repeat()
#模型训练,steps_per_epoch表示每次训练的数据大小类似与batch_size
model.fit(dataset, epochs=10, steps_per_epoch=30)
模型评估和预测
通过 tf.keras.Model.evaluate 和tf.keras.Model.predict可以实现模型的评估和预测。
model.evaluate(x, y, batch_size=32)
model.evaluate(dataset, steps=30)
model.predict(x, batch_size=32)
model.predict(dataset, steps=30)
基本模型的建立
网络层模型
通过f.keras.Sequential 可以实现各种的复杂模型,如:
1.多输入模型;
2.多输出模型;
3.参数共享层模型;
4.残差网络模型。
#输入参数
inputs = keras.Input(shape=(32,))
#网络层的构建
x = keras.layers.Dense(64, activation='relu')(inputs)
x = keras.layers.Dense(64, activation='relu')(x)
#预测
predictions = keras.layers.Dense(10, activation='softmax')(x)
#模型实例化
model = keras.Model(inputs=inputs, outputs=predictions)
#模型构建
model.compile(optimizer=tf.train.RMSPropOptimizer(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
#模型训练
model.fit(data, labels, batch_size=32, epochs=5)
模型子类函数构建
通常通过tf.keras.Model构建模型结构, __init__方法初始化模型,call方法进行参数传递。
class MyModel(keras.Model):
#模型结构确定
def __init__(self, num_classes=10):
super(MyModel, self).__init__(name='my_model')
self.num_classes = num_classes
#网络层的定义
self.dense_1 = keras.layers.Dense(32, activation='relu')
self.dense_2 = keras.layers.Dense(num_classes, activation='sigmoid')
#参数调用
def call(self, inputs):
#前向传播过程确定
x = self.dense_1(inputs)
return self.dense_2(x)
def compute_output_shape(self, input_shape):
#输出参数确定
shape = tf.TensorShape(input_shape).as_list()
shape[-1] = self.num_classes
return tf.TensorShape(shape)
#模型初始化
model = MyModel(num_classes=10)
#模型构建
model.compile(optimizer=tf.train.RMSPropOptimizer(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
#模型训练
model.fit(data, labels, batch_size=32, epochs=5)
回调函数Callbacks
回调函数是一组在训练的特定阶段被调用的函数集,你可以使用回调函数来观察训练过程中网络内部的状态和统计信息。通过传递回调函数列表到模型fit()中,即可在给定的训练阶段调用该函数集中的函数。
tf.keras.callbacks.ModelCheckpoint:模型保存
tf.keras.callbacks.LearningRateScheduler:学习率调整
tf.keras.callbacks.EarlyStopping:中断训练
tf.keras.callbacks.TensorBoard:tensorboard的使用
模型保存和载入
tf.keras有两种模型保存方式
网络参数保存Weights only
#模型保存为tensorflow默认格式
model.save_weights('./my_model')
#载入模型
model.load_weights('my_model')
#模型保存为keras默认格式,包含其他优化参数
model.save_weights('my_model.h5', save_format='h5')
#载入模型
model.load_weights('my_model.h5')
配置参数保存Configuration only
保存一个没有模型参数只有配置参数的模型, Keras支持 JSON和YAML序列化格式:
# 模型保存
json_string = model.to_json()
yaml_string = model.to_yaml()
#模型载入
fresh_model = keras.models.from_json(json_string)
fresh_model = keras.models.from_yaml(yaml_string)
完整模型保存
将原来模型所用信息进行保存:
#模型建立
model = keras.Sequential([
keras.layers.Dense(10, activation='softmax', input_shape=(32,)),
keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, targets, batch_size=32, epochs=5)
#保存为keras格式文件
model.save('my_model.h5')
# 模型载入
model = keras.models.load_model('my_model.h5')