反向传播算法大揭秘

注： 该篇博文是我阅读《How the backpropagation algorithm works》一文的笔记，该博文详细介绍了反向传播算法，并给出了反向传播算法四个基本公式中的前两个证明，我顺着作者的思路证明了后面两个，并记录了证明过程，希望能帮助到需要了解反向传播算法数学原理的童鞋。

符号说明

• $w^l_{jk}$表示$l-1$层的第$k$个神经元到$l$层的第$j$个神经元连接的权重.
• $b^l_j$表示$l$层的第$j$个神经元的偏置，$a^l_j$表示$l$层的第$j$个神经元作用于激活函数以后的取值.
• 对于$a^l_j$的计算，我们可以使用如下公式计算：$a^l_j=\sigma (\sum_\limits{k}w^l_{jk}a^{l-1}_k + b^l_j)$，其中，$\sigma$表示的是激活函数，求和符号表示的是第$l-1$层的所有神经元与$l$层第$j$个神经元连接的加权和.
• 上式使用矩阵表示则有：$a^l = \sigma (w^la^{l-1} + b^l)$，其中，$w^l$表示$l$层的权重矩阵，矩阵的第$j$行第$k$列的元素为$w^l_{jk}$，类似的，$b^l$和$a^l$用列向量表示第$j$层神经元的偏置和激活值.
• 对于$z^l = w^la^{l-1} + b^l$我们称之为$l$层的加权输出.
• 设推导反向传播过程中的代价函数为$C$.
• 我们使用$\odot$表示两个矩阵对应元素的乘积，即$(s\odot t)_{i,j} = s_{i,j} \cdot t_{i,j}$，称之为Hadamard乘积.

反向传播的四个基本公式

反向传播过程中的四个基本公式：

$$\delta^L = \nabla_aC\odot \sigma'(z^L) \tag{BP1}$$

$$\delta^l = ((w^{l+1})^\mathrm{T}\delta^{l+1})\odot\sigma'(z^l) \tag{BP2}$$

$$\frac{\partial C}{\partial b^l_j} = \delta^l_j \tag{BP3}$$

$$\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k\delta^l_j \tag{BP4}$$

反向传播算法

1. 输入$x$：输入层的激活值$a^1$可以假定就是其输入$x$
2. 前向传播：对于$l=2,3,\cdots,L$，依次通过$z^l = w^la^{l-1} + b^l$和$a^l = \sigma(z^l)$公式进行计算激活值
3. 计算最终输出误差$\delta^L$：通过公式计BP1算误差向量
4. 反向误差传播：对于$l=L-1, L-2, \cdots, 2$，使用公式分BP2别计算每层神经元对应的误差
5. 更新权重和增益：根据代价函数的梯度更新权重和增益，如公式BP3和BP4所示

推导过程

下面我们来进行公式的推导

对于公式BP1的推导

设最后一层$L$的第$j$个神经元的误差是

$$\delta^L_j = \frac{\partial C}{\partial z^L_j} \tag{1}$$

通过链式法则，我们可以得到

$$\delta^L_j = \frac{\partial C}{\partial a^L_j}\frac{\partial a^L_j}{\partial z^L_j} \tag{2}$$

将$a^l_j=\sigma(z^L_j)$带入可得

$$\delta^L_j = \frac{\partial C}{\partial a^L_j}\sigma'(z^L_j) \tag{3}$$

公式BP1即是上式的矩阵形式

对于公式BP2的推导

对于$l$层的第$j$个神经元，我们使用链式法则有：

$$\delta^l_j = \frac{\partial C}{\partial z^l_j} = \sum\limits_k\frac{\partial C}{\partial z^{l+1}_k}\frac{\partial z^{l+1}_k}{\partial z^l_j} = \sum\limits_k\frac{\partial z^{l+1}_k}{\partial z^l_j}\delta^{l+1}_k \tag{4}$$

此外，我们有

$$z^{l+1}_k = \sum\limits_jw^{l+1}_{kj}a^l_j + b^{l+1}_k = \sum\limits_jw^{l+1}_{kj}\sigma(z^l_j) + b^{l+1}_k \tag{5}$$

对上式微分，得

$$\frac{\partial z^{l+1}_k}{\partial z^l_j} = w^{l+1}_{kj}\sigma'(z^l_j) \tag{6}$$

带入公式4，可得

$$\delta^l_j = \sum\limits_kw^{l+1}_{kj}\delta^{l+1}_k\sigma'(z^l_j) \tag{7}$$

对于公式BP3的推导

对于$l$层的第$j$个神经元，我们使用链式法则有：

$$\frac{\partial C}{\partial b^L_j} = \frac{\partial C}{\partial z^l_j}\frac{\partial z^l_j}{\partial b^l_j} \tag{8}$$

由于$\frac{\partial z^l_k}{\partial b^l_j}$恒等于1，所以有

$$\frac{\partial C}{\partial b^L_j} = \frac{\partial C}{\partial z^l_j} = \delta^l_j \tag{9}$$

对于公式BP4的推导

因为$z^{l}_j = \sum\limits_kw^{l}_{jk}a^{l-1}_k + b^{l+1}_j$，取导数有

$$\frac{\partial z^l_j}{\partial w^{l}_{jk}} = a^{l-1}_k \tag{10}$$

对于$l​$层的第$j​$个神经元，我们使用链式法则有：

$$\frac{\partial C}{\partial w^l_{jk}} = \frac{\partial C}{\partial z^l_{j}} \frac{\partial z^l_{j}}{\partial w^l_{jk}} \tag{11}$$

将$\delta^l_j = \frac{\partial C}{\partial z^l_j}$和$\frac{\partial z^l_{jk}}{\partial w^l_{jk}} = a^{l-1}_k$带入公式11，得

$$\frac{\partial C}{\partial w^l_{jk}} = \delta^l_ja^{l-1}_k \tag{12}$$

终于，推导完毕！