1.单层感知机
σ只有一个,其中。
求导过程:
2.多层感知机
,其中
求导过程:
3.MLP反向传播
E对Wjk过程如第2点,略:
E对Wij过程:
,
总结:
即,Wij与当前节点i的值和j到输出层的信息有关,以上式子内部都是已知的,然后通过反向传播求出E对所有层W的偏导数,进而求得各W的梯度,来更新W,不停的更新W。
1.单层感知机
σ只有一个,其中。
求导过程:
2.多层感知机
,其中
求导过程:
3.MLP反向传播
E对Wjk过程如第2点,略:
E对Wij过程:
,
总结:
即,Wij与当前节点i的值和j到输出层的信息有关,以上式子内部都是已知的,然后通过反向传播求出E对所有层W的偏导数,进而求得各W的梯度,来更新W,不停的更新W。