目录
一、概念
1.激活函数实现去线性化
加了激活函数和偏置项
tensorflow提供了其中不同的非线性激活函数,也可以自定义
多层网络解决抑或问题
二、损失函数
神经网络模型的效果以及优化的目标是通过损失函数来定义的
1. 分类问题:
判断输出向量与期望的向量的距离:交叉熵:刻画两个概率分布之间的距离
Softmax将神经网络的输出变成了一个概率分布
2. 对于回归问题,
最常用损失函数韦均方误差MSE(mean squared error)
3.自定义损失函数
三、参数优化
神经网络的优化分为两个阶段:1.通过前向传播算法计算得到预测值,并与真实值求差 2. 根据反向传播函数计算损失函数对每一个参数求梯度,再根据梯度和学习率使用梯度下降法更新每一个参数