本文转自：https://cloud.tencent.com/developer/news/208702
--------------------------------------------------------------------------------------------------------
bp神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。下面以4层网络为例进行相关推导。
--------------------------------------------------------------------------------------------------------
神经网络的相关图解
4层神经网络为例
权重矩阵
前向传播生成神经网络
均方误差损失函数权重梯度
对数损失函数权重梯度
权重梯度推导出来后，就可以应用梯度下降法求解神经网络的权重或参数了。