深度之眼(十八)——偏导数与矩阵的求导

一、偏导数

在这里插入图片描述
在这里插入图片描述

对某个变量求偏导,则其余变量看成常数


在这里插入图片描述

可以直接认为成立,不必拘泥条件

二、多元复合函数的求导法则,链式求导法则

在这里插入图片描述

这里举了一个不错的技巧,可以看z到t有几条路径
在这里插入图片描述
对多元时求偏导的方法
比如对x求偏导,就看到x的路径,有几条,分别经过什么

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关键是画准链式关系

三、方向导数与梯度及其应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

扫描二维码关注公众号,回复: 14417801 查看本文章

在这里插入图片描述
在这里插入图片描述

举例

在这里插入图片描述

在这里插入图片描述
梯度的正方向,是梯度增长最快的方向。
梯度的负方向,是梯度减小最快的方向

四、多元函数泰勒公式与海森炬阵

一般用到二阶

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
海森矩阵是个对称矩阵

五、多元角数的极值

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、距阵的求导

在这里插入图片描述
在这里插入图片描述

f(x)对其求偏导,就是个列向量,有几个变量,就有行
右值都是看成实数

在这里插入图片描述

对x求偏导
对x求偏导
对x求偏导
对a求偏导
fx = Ax
A
fx = x^Tx
Ax+A^Tx
fx = a^Tx
a
x

解释之前的J

在这里插入图片描述
在这里插入图片描述

所以Ja求偏导等于0,过程在上面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

七、矩阵的求导在深度学习中的应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/m0_52592798/article/details/126027585