第7章：神经网络：学习

7.1 代价函数 Cost function

初始作如下定义：

• $L$ — 神经网络的总层数
• $s_{l}$ — 第 $l$ 层的激活单元数量（不包括偏置单元）
• $K$ — 输出层的单元数量
• $(h_{\theta}(x))_{k}$ — 输出层第 $k$ 个单元的输出值
• $\delta_{j}^{(l)}$ — 第 $l$ 层的第 $j$ 个单元的误差

在逻辑回归中，我们的代价函数为： $J(\theta) = -\frac{1}{m}\sum_{i=1}^m[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]+\frac{\lambda}{2m}\sum_{j=1}^n\theta_j^2$其中，前一部分为 $h_\theta(x)$的代价，后一部分为正则化项（减少不重要的特征的权重，防止过拟合）。
而在神经网络中，代价函数可以定义为： $J(\theta) = -\frac{1}{m}\sum_{i=1}^m\sum_{k=1}^K[y_k^{(i)}log(h_\theta(x^{(i)})_k)+(1-y_k^{(i)})log(1-h_\theta(x^{(i)})_k)]+\frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{i-1}^{s_l}\sum_{j=1}^{s_l+1}(\theta_{ji}^{(l)})^2$与逻辑回归相比，前一项中对输出层每一个单元进行了求和，后一项中对每一层的每一个 $\theta$ 进行了平方求和（正则化项）。

7.2 反向传播 Back propagation

之前介绍了神经网络的前向传播（forward propagation），前向传播是从输入层开始，不断前进计算参数、激活函数，直到传播至输出层。
而神经网络的反向传播（back propagation）从输出层开始，不断计算误差值，反向传播，传播至输入层，修改神经网络中的参数，得出更好的效果。

假设给出一个4层的神经网络如下图所示：

对于输出层的误差，可以定义为 $\delta_j^{(4)}=a_j^{(4)}-y_j$，如果将其向量化，可以写成 $\delta^{(4)}=a^{(4)}-y$，计算反向传播的过程如下： $\delta^{(4)}=a^{(4)}-y$ $\delta^{(3)}=(\Theta^{(3)})^T\delta^{(4)}.*g'(z^{(3)})$ $\delta^{(2)}=(\Theta^{(2)})^T\delta^{(3)}.*g'(z^{(2)})$其中，不存在 $\delta^{(1)}$，因为输入层不存在误差。如果忽略正则化项，可以近似为： $\frac{\partial}{ \partial\Theta_{ij}^{(l)}}J(\Theta)=a_j^{(l)}*\delta_i^{(l+1)}$

7.3 梯度检测 Gradient checking

梯度检测采用的方法是在代价函数上的一点沿着切线方向选择两个非常近的点，然后计算这两个点的平均值用以估计梯度。

对于代价函数上的一点 $J(\theta)$，可近似认为： $\frac{\partial}{ \partial\theta}J(\theta)\approx\frac{J(\theta+\epsilon)-J(\theta-\epsilon)}{2\epsilon}$其中， $\epsilon$是一个非常小的值，通常选取 0.001。

考虑更为普遍的情况，当 $\theta$是n维向量时，我们可以用类似的思想来估算所有的偏导数项。

在Octave中实现如下：
通过此方法，验证上述的反向传播正确性。
注：当证明反向传播正确时，需关闭梯度检测，因梯度检测计算量巨大，时间复杂度高。

7.4 随机初始化 Random initialization

当我们设 $\Theta_{ij}^{(l)}=0$ (for all $i,j,l$)时，随着前向传播和反向传播的计算，所有激活单元的参数会是一致的，导致模型效果较差。
所以我们采用随机初始化，设 $\Theta_{ij}^{(l)}\in[-\epsilon,\epsilon]$ ， $\epsilon$为一很小的值。

7.5 前向传播和反向传播的结合

通过前向传播，可以由输入层传递信息至输出层，得到最终输出；再通过反向传播，从输出层传回至输入层，修改参数、优化模型。可以通过以下定义步骤：

其中， $\frac{\partial}{\partial\theta_{ij}^{(l)}}J(\theta)=D_{ij}^{(l)}$。可继续使用梯度下降算法，对每一个神经单元间的 $\theta$ 进行优化。
正规来说，误差定义如下： $\delta_j^{(l)}=\frac{\partial}{\partial z_j^{(l)}}cost(i)$ $cost(i)=y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))$注：在神经网络的计算中， $J(\theta)$ 是非凸函数，理论上会收敛于局部最小值，但实际运用中，神经网络还是可以收敛于接近全局最小值的局部最小值。