下面的文章演示了卷积运算在CNN中进行反向传播的过程。

卷积运算与相关的区别

让我们考虑卷积层中的输入和卷积核（也称之为滤波器）。简单起见， $channel$=1，输入矩阵 $X$为3x3，卷积核 $F$为2x2， $padding=0,stride=1$。前向传播为卷积过程。

而滤波器矩阵 $F$与输入矩阵 $X$的相关矩阵 $O$如下图所示：

卷积核与输入图像的卷积相当于将卷积核旋转180度（先水平翻转再垂直翻转），然后与输入矩阵进行相关操作：

由此可见，卷积运算与相关运算是一样的，只不过是和旋转后的卷积核进行相关运算。

卷积运算的正向和反向传播

注意: 为了方便推导出卷积核的值和输入矩阵值的梯度方程，我们将考虑卷积运算和相关运算看作是一样的，这只是为了处理上简单的考虑。
因此，卷积操作可以用下图来表示：

注意此处为了方便， $F$没有进行180度翻转，因此这里卷积和相关是一样的。
可以用下面的图来进行可视化。

现在，我们要计算卷积核 $F$ 相对于误差 $E$ 的梯度，要解以下的方程。

$\frac{\partial E}{F_{11}}=\frac{\partial E}{O_{11}}·\frac{\partial O_{11}}{F_{11}}+\frac{\partial E}{O_{12}}·\frac{\partial O_{12}}{F_{11}}+\frac{\partial E}{O_{21}}·\frac{\partial O_{21}}{F_{11}}+\frac{\partial E}{O_{22}}·\frac{\partial O_{22}}{F_{11}}$

$\frac{\partial E}{F_{12}}=\frac{\partial E}{O_{11}}·\frac{\partial O_{11}}{F_{12}}+\frac{\partial E}{O_{12}}·\frac{\partial O_{12}}{F_{12}}+\frac{\partial E}{O_{21}}·\frac{\partial O_{21}}{F_{12}}+\frac{\partial E}{O_{22}}·\frac{\partial O_{22}}{F_{12}}$

$\frac{\partial E}{F_{21}}=\frac{\partial E}{O_{11}}·\frac{\partial O_{11}}{F_{21}}+\frac{\partial E}{O_{12}}·\frac{\partial O_{12}}{F_{21}}+\frac{\partial E}{O_{21}}·\frac{\partial O_{21}}{F_{21}}+\frac{\partial E}{O_{22}}·\frac{\partial O_{22}}{F_{21}}$

$\frac{\partial E}{F_{22}}=\frac{\partial E}{O_{11}}·\frac{\partial O_{11}}{F_{22}}+\frac{\partial E}{O_{12}}·\frac{\partial O_{12}}{F_{22}}+\frac{\partial E}{O_{21}}·\frac{\partial O_{21}}{F_{22}}+\frac{\partial E}{O_{22}}·\frac{\partial O_{22}}{F_{22}}$

这一些等式也等同于
$\frac{\partial E}{F_{11}}=\frac{\partial E}{O_{11}}·X_{11}+\frac{\partial E}{O_{12}}·X_{11}+\frac{\partial E}{O_{21}}·X_{11}+\frac{\partial E}{O_{22}}·X_{11}$

$\frac{\partial E}{F_{12}}=\frac{\partial E}{O_{11}}·X_{12}+\frac{\partial E}{O_{12}}·X_{12}+\frac{\partial E}{O_{21}}·X_{12}+\frac{\partial E}{O_{22}}·X_{12}$

$\frac{\partial E}{F_{21}}=\frac{\partial E}{O_{11}}·X_{21}+\frac{\partial E}{O_{12}}·X_{21}+\frac{\partial E}{O_{21}}·X_{21}+\frac{\partial E}{O_{22}}·X_{21}$

$\frac{\partial E}{F_{22}}=\frac{\partial E}{O_{11}}·X_{22}+\frac{\partial E}{O_{12}}·X_{22}+\frac{\partial E}{O_{21}}·X_{22}+\frac{\partial E}{O_{22}}·X_{22}$

如果我们仔细看，这个等式可以写成卷积操作的形式：

类似地，我们可以得到输入矩阵 $X$ 相对于误差 $E$ 的梯度值：

为了得到输入矩阵的梯度 $\left. \partial E \middle/ \partial X \right.$，我们需要将卷积核旋转180度，通过输出的误差梯度 $\left. \partial E \middle/ \partial O \right.$计算旋转卷积核 $F$ 的全卷积，如下图所示。

全卷积可以想象为执行如下图所示的过程。

因此，卷积运算就可以实现卷积层的正向传播和反向传播。

要计算池化层和Relu层的梯度，可以通过使用导数的链式法则来计算。