为了克服单层神经网络只能解决线性可分问题的局限性，神经网络进化为多层结构。然而，花费了将近30年的时间，才将隐藏层添加到单层神经网络中。很难理解为什么花费了这么长时间，其中的主要问题是学习规则。
单层神经网络中的增量规则对于多层神经网络的训练是无效的，这是因为训练中在隐藏层产生的误差并没有定义。反向传播算法是多层神经网络的代表性学习规则。
1986年，反向传播算法的引入最终解决了多层神经网络的训练问题。反向传播算法的意义在于，它提供了一种确定隐藏节点误差的系统方法，一旦能够确定隐藏层输出误差，则可以应用增量规则来调整权值。
考虑一个神经网络，它由输入和输出的两个节点和一个隐藏层组成，隐藏层也具有两个节点。为了研究方便，这里省略了偏置参数，即偏置设为0。示例神经网络如下图所示，其中上标表示层指示符。
更多精彩文章请关注微信号：