神经网络和深度学习

神经网络基础

计算图

• 可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的，计算图解释了为什么我们用这种方式组织这些计算过程。

• 首先我们计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作，后者我们用来计算出对应的梯度或导数。
  

  • 我们尝试计算函数 $J$， $J$ 是由三个变量 $a, b, c$ 组成的函数，这个函数是 $3(a+bc)$。
  • 计算这个函数实际上有三个不同的步骤，首先是计算 $b$ 乘以 $c$，我们把它储存在变量 $u$ 中，因此 $u=bc$，然后计算 $v=a+u$，最后输出 $j=3v$，这就是要计算的函数 $J$。
  • 当有不同的或者一些特殊的输出变量时，例如本例中的 $J$ 和逻辑回归中你想优化的代价函数 $J$，因此计算图用来处理这些计算会很方便。
  • 通过一个从左向右的过程，你可以计算出 $J$ 的值。
  • 为了计算导数，从右到左（红色箭头，和蓝色箭头的过程相反）的过程是最自然的方式。

计算图的导数计算

• 这是一个流程图：
  

  • 下面用到的公式： $\frac{dJ}{du}=\frac{dJ}{dv}\frac{dv}{du}$， $\frac{dJ}{db}=\frac{dJ}{du}\frac{du}{db}$， $\frac{dJ}{da}=\frac{dJ}{du}\frac{du}{da}$；
  • 定义上 $J= 3v$，现在 $v=11$，所以如果你让 $v$ 增加一点点，比如到 11.001，那么 $J= 3v=33.003$，所以我这里 $v$ 增加了0.001，最终结果是 $J$ 上升到原来的3 倍，所以 $\frac{dJ}{dv}=3$，因为对于任何 $v$ 的增量 $J$ 都会有3倍增量；
  • 在反向传播算法中的术语，如果你想计算最后输出变量的导数，使用你最关心的变量对 $v$ 的导数，那么我们就做完了一步反向传播，在这个流程图中是一个反向步；
    
  • 首先 $a$ 增加了， $v$ 也会增加， $v$ 增加多少取决于 $\frac{dv}{da}$，然后 $v$ 的变化导致 $J$ 也在增加，如果 $a$ 影响到 $v$， $v$ 影响到 $J$，那么当你让 $a$ 变大时， $J$ 的变化量就是当你改变 $a$ 时， $v$ 的变化量乘以改变 $v$ 时 $J$ 的变化量，在微积分里这叫链式法则。
  • 到目前为止，我们一直在往回传播，并计算 $dv=3$，再次， $dv$ 是代码里的变量名，其真正的定义是 $\frac{dJ}{dv}$， $da=3$ 且 $da$ 是代码里的变量名，其实代表 $\frac{dJ}{da}$的值。

• 一个计算流程图就是正向或者说从左到右的计算来计算成本函数 $J$，即需要优化的函数，然后反向从右到左计算导数。