Hession矩阵

1. 标量对向量求导：

结果是向量

事实上这就是所谓的Gradient，即对于一般标量函数 f(x), 其中向量为 x=(x1,...,xn)，导数为：

$\small \frac{\partial f}{\partial x}=\left ( \frac{\partial f}{\partial x_{1}} ,\cdots \frac{\partial f}{\partial x_{n}}\right )$

也记为： $\small \triangledown f$

2. 向量对向量求导：

结果是矩阵

一阶导:

这个当然也是gradient，当然这准确的说应该叫matrix gradient. 即对于向量值函数 f(x), 其中 x=(x1,...,xn) ， f=(f1,...,fm)

, 导数为：

$\small \frac{\partial f}{\partial x}=\frac{\partial f^{T}}{\partial x}= \left [ \frac{\partial f_{1}}{\partial x},\cdots \frac{\partial f_{m}}{\partial x} \right ]= \begin{bmatrix} \frac{\partial f_{1}}{\partial x_{1}} & \cdots &\frac{\partial f_{m}}{\partial x_{1}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f_{1}}{\partial x_{n}} & \cdots & \frac{\partial f_{m}}{\partial x_{n}} \end{bmatrix}$

这个矩阵也叫做 Jacobian 矩阵

二阶导：

二阶导数就是Hessian矩阵，形式如下：

$\small H\left ( f \right )=\begin{bmatrix} \frac{\partial ^{2}f}{\partial x_{1}^{2}} & \frac{\partial ^{2}f}{\partial x_{1}\partial x_{2}} & \cdots & \frac{\partial ^{2}f}{\partial x_{1}\partial x_{n}} \\ \frac{\partial ^{2}f}{\partial x_{2}\partial x_{1}} & \frac{\partial ^{2}f}{\partial x_{2}^{2}} &\cdots &\frac{\partial ^{2}f}{\partial x_{2}\partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial ^{2}f}{\partial x_{n}\partial x_{1}} & \frac{\partial ^{2}f}{\partial x_{n}\partial x_{2}} & \cdots & \frac{\partial ^{2}f}{\partial x_{n}^{2}} \end{bmatrix}$

或者可以用更抽象的定义：

$\small H_{ij}= \frac{\partial ^{2}l}{\partial\Theta _{i}\partial \Theta _{j} }$

转自：https://blog.csdn.net/u013398398/article/details/78154710?utm_source=blogxgwz6

1. 标量对向量求导：

2. 向量对向量求导：

一阶导:

二阶导：

猜你喜欢