深度学习中的核心知识
前向运算
计算输出值的过程称为前向传播
前提：网络结构已知（两个方面：1. 每个层的构造 卷积/池化 2. 每个层的参数）
难点：1.f函数如何定义 2.每层的参数 （通过反向传播来计算）
反向传播（BP算法）
神经网络（参数模型）训练方法
- 解决神经网络优化问题
- 计算输出层结果与真实值之间的偏差来进行逐层调节参数（梯度下降）
神经网络参数训练是一个不断迭代的过程
参数更新多少？
- 参数优化问题（迭代）
利用有标签的样本x和y
求解 loss=（估计值 - 真实值） 的最小值
对w求导 - 导数和学习率（梯度下降算法）
什么是梯度
- 函数在A点无数个变化方向中变化最快的那个方向
梯度下降算法
- 沿着导数下降的方法，进行参数更新
- 选择合适的步长、学习率
- 局部最优解
常见的深度学习模型
- 卷积神经网（CNN）
- 循环神经网（RNN）
- 自动编码机（Autoencoder）
- Restricted Boltzmann Machines(RBM, 受限玻尔兹曼机)
- 深度信念网络（DBN，Deep Belid Network）
