前言
之前有证明过一次人工神经网络——【BP】反向传播算法证明 ,但是回头看的时候,有很多地方非常不严谨,特此拿出来再单独证明一次BP,并严格保证其严谨性。如果想看看粗略的证明,可以去看我之前的博客,毕竟那个貌似也没人说细节有问题,估计很多人没有动手拆分推导。
三层sigmoid激活函数BP扩展到任意激活函数
第一步:前向传播
下图展示了一个三层神经网络:
相关说明:
- 可见层定义为
X
,共有
n
个单元,下标用
i
索引
- 隐藏层定义为
B
,共有
p
个单元,下标用
j
索引,偏置为
α
- 输出层定义为
Y
,共有
q
个单元,下标用
k
索引,偏置为
β
- 隐藏层到可见层权重矩阵为
W
,大小为
(p,n)
- 隐藏层到输出层权重矩阵为V,大小为
(q,p)
各层神经元的值:
- 可见层:
xi
- 隐藏层:
bj=σ(∑ni=1Wjixi+αj)
- 输出层:
yk=σ(∑pj=1Vkjbj+βk)
误差:
第二步:误差反向传播
模型参数校正是从后往前进行的,所以称为误差逆传播,计算是从输出层到隐藏层,再从隐藏层到输入层。更新的是权重和偏置,称为模型参数,两层的权重和偏置的更新是类似的。
输出层到隐藏层的参数更新
先对权重
Vkj
求梯度:
ΔVkj=∂E∂Vkj=∂E∂yk×∂yk∂Vkj=(yk−ok)×σ′(∑j=1pVkjbj+βk)×bj
再对输出层的偏置
βk
求梯度:
Δβk=∂E∂βk=∂E∂yk×∂yk∂βk=(yk−ok)×σ′(∑j=1pVkjbj+βk)
隐藏层到输入层的参数更新
先对权重
Wji
求梯度
ΔWji=∂E∂Wji=∂E∂bj×∂bj∂Wji=∑k=1q[∂Ek∂yk×∂yk∂bj]×∂bj∂Wji=∑k=1q[(yk−ok)×σ′(∑j=1pVkjbj+βk)×Vkj]×σ′(∑i=1nWjixi+αj)×xi=∑k=1q[Δβk×Vkj]×σ′(∑i=1nWjixi+αj)×xi
再对偏置
αj
求梯度
Δαj=∂E∂αj=∂E∂bj×∂bj∂αj=∑k=1q[∂Ek∂yk×∂yk∂bj]×∂bj∂αj=∑k=1q[(yk−ok)×σ′(∑j=1pVkjbj+βk)×Vkj]×σ′(∑i=1nWjixi+αj)=∑k=1q[Δβk×Vkj]×σ′(∑i=1nWjixi+αj)
三层任意激活函数BP扩展到任意层数
网络定义
总共有
n
层,用
l
索引层数,第
l
层第
j
个单元到第
l−1
层第
i
的连接权重为
Wlji
,第
l
层的第
j
个单元值用
ylj
索引,偏置用
blj
索引,则有
yljE=σ(∑iWljiyl−1i+blj)=12∑j(oj−ynj)2
误差对于任意层的偏置参数求导
∂E∂blj=∂E∂ylj×∂ylj∂blj=∂E∂ylj×σ′(∑iWljiyl−1i+blj)
很容易发现重点在于
∂E∂ylj
的推导,这个就是传说中的链式法则,从最后一层递推到第
l
层,这一步一定要注意上下标
我之前很理所当然地写出了下式
∂E∂yl=∂E∂yn×∂yn∂yn−1⋯×∂yl+1∂yl
如果按照矩阵求导方法深究这个式子是有问题的,第一项
∂E∂yn
是标量对向量的偏导,
∂yn∂yn−1
是列向量对列向量的求导,它俩的维度根本不一样,做不了乘法操作。那么如何执行链式求导?可以从最后层向前推几层试试:
- 误差函数对第
n
层的第
i
个单元的偏导:
∂E∂yni=oi−yi
误差函数对第
n−1
层的第
i
个单元的偏导:
∂E∂yn−1i=∑j[∂E∂ynj×∂ynj∂yn−1i]
误差函数对第
n−2
层的第
i
个单元的偏导:
∂E∂yn−2i=∑j[∂E∂yn−1j×∂yn−1j∂yn−2i]
然后将误差函数对第
n−1
层的第
j
个单元的偏导带入进来就可以求出来
以此类推…………………
误差函数对第
l
层的第
i
个单元的偏导:
∂E∂yli=∑j[∂E∂yl+1j×∂yl+1j∂yli]
上述式子中的
∂E∂yl+1i
可以用递推的方法求解出来,而另一项是:
∂yl+1j∂yli=σ′(∑iWl+1jiyli+bl+1j)×Wl+1ji
最终得到误差函数关于第
l
层的第
i
个单元偏置参数的偏导
∂E∂bli=∂E∂ylj×σ′(∑iWljiyl−1i+blj)=∂E∂yl+1j×∂yl+1j∂yli×σ′(∑iWljiyl−1i+blj)=∑j[∂E∂yl+1j×σ′(∑iWl+1jiyli+bl+1j)×Wl+1ji]×σ′(∑iWljiyl−1i+blj)
注意上式开头的
∑j
中的
j
是第
l+1
层的神经元索引,后面的
σ′(∑i+blJ)
的
j
是第
i
层的索引。
式子看起来很复杂,感觉跟网上看到的不一样啊,网上的多简单,这个看着这么多加和以及乘法,乱七八糟的,必须得验证一下,我们把它套到三层BP中,验证隐层和输出层的偏置更新:
∂E∂bnj=∂E∂ynj×σ′(∑iWnjiyn−1i+blj)=(yj−oj)×σ′(∑iWnjiyn−1i+blj)
∂E∂bn−1j=∑j[∂E∂ynj×σ′(∑iWnjiyli+bnj)×Wnji]×σ′(∑iWljiyn−2i+bn−1j)=∑j[(yj−oj)×σ′(∑iWnjiyli+bnj)×Wnji]×σ′(∑iWljiyn−2i+bn−1j)
可以发现与第二章的结论完全一致的。
误差对任意层的权重参数求导
这个其实与偏置很类似:
∂E∂Wlji=∂E∂ylj×∂ylj∂Wlji=∂E∂ylj×σ′(∑iWljiyl−1i+blj)×yl−1i=∂E∂blj×yl−1i=∑j[∂E∂yl+1j×σ′(∑iWl+1jiyli+bl+1j)×Wl+1ji]×σ′(∑iWljiyl−1i+blj)×yl−1i
简化结果
上面的式子看的头晕眼花,复杂得飞起,网上其它教程为啥都那么简单,只有
δl+1
什么什么的,我们来试试将上式简化一波,同时也是由于神经网络中并不是一个梯度一个梯度更新,你没有看到过谁写梯度更新用for
循环分别控制权重
wji
的两个维度吧,一般都是直接用矩阵运算计算得到
w
,记住
E
是实数值而非向量,
W
和
b
一个是二维矩阵,一个是一维列向量,然后利用矩阵求导法则试试。
在此,先规定,我们所求的偏置向量为列向量,这里先套用实值对列向量的导数如下:
∂E∂bl=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂E∂b1∂E∂b2⋮∂E∂bi⋮⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥
为了便于书写或者与网络的证明方法对齐,我们还设
δl+1jzlj⇒∂E∂bli=∂E∂yl+1j×σ′(∑iWl+1jiyli+bl+1j)=(∑iWljiyl−1i+blj)=∑j[∂E∂yl+1j×σ′(∑iWl+1jiyli+bl+1j)×Wl+1ji]×σ′(∑iWljiyl−1i+blj)=∑j(δl+1j×Wl+1ji)×σ′(zli)
然后我们简化
∂Ebl
,即误差
值对第
l
层偏置
向量求导得到的梯度
向量
∂E∂bl=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢Wl+111Wl+112⋮Wl+11i⋮Wl+121Wl+122⋱Wl+12i⋮⋯⋯⋱⋯⋮Wl+1j1Wl+1j2⋱Wl+1ji⋮⋯⋯⋮⋯⋮⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥×⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢δl+11δl+12⋮δl+1j⋮⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⊙⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢σ′(zl1)σ′(zl2)⋮σ′(zli)⋮⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥=(Wl+1)T×δl+1⊙σ′(zl)
注意式子中”
×
”代表矩阵与列向量的乘法操作,
⊙
代表两个相同维度列向量的对应位置元素乘积。
现在应该熟悉了最终的式子与网上的基本一致。这就是整个BP的推导过程。
后记
此篇博客一方面是对上一篇证明BP的博客的更进一步详解与结论证明,另一方面是为了矫正自己之前对矩阵偏导的误解。矩阵偏导分别包含:行向量对行向量的偏导、行向量对列向量的偏导、列向量对列向量的偏导、列向量对行向量的偏导、矩阵对行向量的偏导、矩阵对列向量的偏导、行向量对矩阵的偏导、列向量对矩阵的偏导、矩阵对矩阵的偏导;在证明BP的时候,要严格按照求导法则来做,不能弄混了。
关于使用矩阵对向量的求导来证BP的一些问题,可以见本人与刘建平老师在深度神经网络(DNN)反向传播算法(BP)博客评论区的讨论,主要针对
∂(WX)∂X
即下一层未激活前的输入向量对上一层激活后的输出向量的偏导值是否为
WT
或者是更大矩阵的讨论。