tensorflow2.0 建模教程 常用操作集合系列3—Model自定义模型的训练和参数调优loss gradient optimizer

推荐:
【tensorflow2.0最新建模教程】,如下:
tensorflow2.0教程 常用操作集合1—Layer自定义层的设计

常用操作集合系列2—Model自定义模型的设计

常用操作集合系列3—Model自定义模型的训练和参数调优loss gradient optimizer
常用操作集合系列4—损失函数正则化解决模型过拟合

在完成上篇tensorflow2.0 建模教程系列2 自定义模型的设计后,我们要灌入训练数据进行训练了,这就涉及到训练过程中最重要的损失函数、梯度下降和调参调优。
在tf2.0版本中,最重要的图计算方法 with tape.GradientTape() as tape,可以设计完成整个过程。

1损失函数我们可以用loss_fn表达:

loss_fn=tf.keras.losses.categorical_crossentropy(from_logits=True)

2选取优化器

optimizer=tf.keras.optimizers.SGD(learning_rate=1e-3)

3梯度计算:

#梯度和权重:
tape.gradient(loss,model.trainable_weights)

4参数调优:

猜你喜欢

转载自blog.csdn.net/weixin_37479258/article/details/100868608