版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hxxjxw/article/details/89842897
1、1943年McCulloch Pitts神经元模型
引入的激活函数f可以有效避免仅使用的线性组合,提高了模型的表达率,是模型具有更好的区分度。
常用的激活函数有relu、sigmoid、tanh
2、神经网络的复杂度
神经网络的复杂度多用神经网络层数和神经网络参数的个数表示
计算层数只计算具有运算能力的层(所以是不计入输入层的)
3、神经网络的优化
- 损失函数loss
- 学习率learning_rate
- 滑动平均ema
- 正则化regularization
损失函数(loss):预测值(y)和已知答案(y_)的差距
y是前向传播计算出来的结果
神经网络优化目标:loss最小
神经网络的优化目标就是想找到某套参数,使得