在进行对向量的求导时,非常好用的三个公式
分别是
1.对于向量x求导
∇xwTx=w
2.对向量x求导
∇xxTAx=(A+AT)x其中x为向量,A为矩阵
3.对向量x求二阶导(即Hessian矩阵)
∇2xTAx=A+AT
详细的证明
1.对于向量x求导
∇xwTx=w
证明:
wTx=(w1w2...wn)⋅⎝⎜⎜⎛x1x2...xn⎠⎟⎟⎞=i=1∑nwixi
所以对
xi求导,对应的导数为
wi
故
∇xwTx=w
2.对向量x求导
∇xxTAx=(A+AT)x
其中x为向量,A为矩阵
证明:
对于二次型
xTAx
xTAx=(x1x2...xn)⎝⎜⎜⎜⎜⎛a11a21..an1a12a22an2.........a1na2nann⎠⎟⎟⎟⎟⎞⎝⎜⎜⎜⎜⎛x1x2...xn⎠⎟⎟⎟⎟⎞=(x1x2...xn)⎝⎜⎜⎛a11x1+a12x2+...+a1nxna21x1+a22x2+...+a2nxn...an1x1+an2x2+...+annxn⎠⎟⎟⎞=a11x1x1+a12x1x2+...+a1nx1xn+a21x2x1+a22x2x2+...+a2nx2xn+...+an1xnx1+an2xnx2+...+annxnxn=i=1∑nj=1∑naijxixj
其中,若只对
x1求导则整理上式
xTAx=a11x1x1+i=2∑nai1xix1+j=2∑na1jxjx1+c
对
x1求导,则上式为
2a11x1+i=2∑nai1xi+j=2∑na1jxj=j=1∑na1jxj+j=1∑na1jxj=A[1,:]⋅x+AT[1,:]⋅x
由此可知,对x求导后,导数为
(A+AT)⋅x
3.对向量x求二阶导(即Hessian矩阵)
∇2xTAx=A+AT
证明:
对于二次型
xTAx=i=1∑nj=1∑nxixjaij
而海森矩阵的每一个元素
Hij=∂xi∂xj∂2f
如求
Hij
则需要找到原等式中,存在
xixj的项
故
Hij=∂xi∂xj∂2f=aij+aji
故
H=A+AT
这个二阶偏导数的形式也与一元函数的二阶导数形式上统一