MachineLearningWu_15/P70-P71_AdamAndConv

x.1 算法参数更新

我们使用梯度下降算法来自动更新参数,但是由于学习率的不好选择性,我们有时候会下降地很快,有时候下降地很慢,我们期望有一种方式能够自动调整学习率的变化,这里引入Adaptive Moment Estimation/Adam/自适应矩估计优化器,即使用alpha来自动调整(learning rate)学习率变化。这种算法在实际实现上会为每个权重参数weight和偏置bias设置一个学习率,

请添加图片描述

除了为每个可学习参数设置特定学习率外,他还会为自动更新学习率的大小,如果总是朝着一个方向更新则加大学习率,如果反复横跳则减小学习率,如下,

请添加图片描述

那我们如何在代码中体现使用了Adam优化器呢?我们只需要在compile步骤时,指定optimizer为adam并且指定初始学习率便可,

请添加图片描述

x.2 卷积层

我们目前最常见的层就是Dense Layer全连接层,但有时候我们面对不同的数据可能需要不同的层,例如我们会用CNN来处理图片的数据。CNN层适合处理图像类型的数据,它的优点在于它的计算更加快速,需要的训练数据量更小,且不容易过拟合。

我们以心电图为例,当我们需要处理的数据如下所示,我们使用CNN进行处理,我们将图像转置,我们第一个神经元采样x1到x20的数据,并表示成a1,x11-x30表示a2,…,以此类推最后产生一个输出判断是否有心脏病。

请添加图片描述

猜你喜欢

转载自blog.csdn.net/qq_43369406/article/details/132223407
p
今日推荐