leboop文章,禁止转载!
1、矩阵符号约定
(1)标量:使用普通小写字母表示,例如;
(2)列向量:使用加粗的小写字母来表示,比如等;
(3)行向量:使用列向量的转置表示,例如;
(4)矩阵:使用加粗的大写字母表示,比如等;
使用表示矩阵的第行和第列元素,也就是,即;
使用表示矩阵的第行;
使用表示矩阵的第列;
(5)矩阵的迹:是指矩阵对角线上的元素之和,使用来表示,例如表示矩阵的对角线元素之和,当然只有行数和列数相同的的矩阵才有迹的概念;
(6)矩阵的行列式:使用来表示矩阵的行列式,当然也只有行数和列数相同的矩阵才有行列式的概念;
注:
标量、行向量和列向量都可以看成是矩阵的特殊情况,例如:
(1)对于一个标量,可以看成是阶的矩阵;
(2)对于列的行向量,可以看成是阶的矩阵;
(3)对于行的列向量,可以看成是阶的矩阵。
同时标量又可以看成是行向量或列向量的特殊情况。
2、标量、向量和矩阵求导符号约定
矩阵求导中,自变量和因变量可以是标量、向量和矩阵中的一种,所以总共有种可能性。如表格所示:
类型 | 标量() | 向量() | 矩阵() |
标量() | |||
向量() | |||
矩阵() |
其中当自变量和因变量都是标量时,就是我们最熟知的求导,其中是的函数,这里我们对这种情况不再讨论。表中我们还写出了其他5种求导情况,下面我们逐步讨论这5种求导情况。
假设,是两个标量,
,是两个向量,
,是两个矩阵,矩阵有时使用向量表述更方便,例如:
,,其中
表示矩阵的第列,表示矩阵的第列,
则
求导类型 \ 布局方式 | 分子布局 | 分母布局 |
标量-向量 | ||
向量-标量 | ||
向量-向量 | ||
标量-矩阵 | ||
矩阵-标量 | 无约定 |
表中分子布局和分母布局只是两种不同的约定方式,并无多大区别。在做一些证明推导时需要约定其中的一种方式,有时也会同时约定两种方式,比如标量-向量约定分子布局方式,向量-标量可以约定分母布局方式,但对于同一种类型求导只能约定一种方式。为了不产生混淆,我建议在同一个环境下约定一种方式,本文我们约定分子布局方式。
布局方式记忆方法:
(1)分子布局:分子不动,分母转置后依次求导
(2)分母布局:分母不动,分子转置后依次求导
注意到,对于同一种类型的求导,分子布局和分母布局存在转置关系。
对于分子布局方式:
(1)向量-标量和标量-向量求导约定都可以看成是向量-向量求导约定的特例,即
(2)向量-标量求导约定可以看成是矩阵-标量求导约定的特例,即
(3)标量-向量求导约定可以看成是标量-矩阵求导约定的特例,即
特例的情况给了我们一些思路,向量-标量和标量-向量求导的性质是不是可以看成是向量-向量求导或者标量-矩阵求导的特例呢?我们接下来就回答这个问题。
特别提醒:以下证明均约定是分子布局。
3、向量-向量求导性质
(1)假设和,如果不是的函数,则,其中表示阶零矩阵(每个元素都是0)
证明:
。
(如果不是的函数,对这两个向量中的每个分量和,都有)
事实上,对于分母布局,。
注:这可以看成常数求导的扩展。
原文中认为分子布局和分母布局得到的是同一个结果,从我们的证明结果来看,并不是同一个结果,而是存在转置关系。
(2)假设,则,其中表示阶单位矩阵(对角线元素为1,其余元素为0)
证明:
。
事实上,对于分母布局,这个结论也是成立的。
注:这条可以看成y=x对x求导的扩展
(3)假设和,其中,,且不是的函数,则
证明:假设
,
其中,
(1)
(2)
(1)式和(2)式相等,所以
.
特别地,如果,则有
,
再根据性质(2),有
,
所以
。
(4)假设和,且不是的的函数,则
证明:分子是行向量还是列向量,对结果是一样的,所以根据性质(3),有
。
(5)假设标量和向量,其中,,则
证明:先搞清楚,这些符号代表什么,比如:,根据我们的符号约定,这是一个标量,而且是的函数,例如:
就是这样的一个标量;是一个向量,每个分量都是关于的函数。所以
(1)
(2)
上面(1)式和(2)式相等,所以
.
特别的,如果不是的函数,则,则有:
(6)假设,,其中,,,则
证明:
,则
(1)
(2)
(1)式和(2)式相等,所以
注:这条可以看成h(x)=f(x)+g(x)对x求导的扩展
(7)假设,,其中,,,则
证明:
(1)
(2)
(1)式和(2)式相等,所以
注:这条可以看成是普通复合函数链式法则的扩展。
4、标量-向量求导
(1)假设是标量,,如果不是的函数,则(这里是阶的零向量)
证明:由向量-向量的性质(1)中的,取,即得到这个结论。
(2)假设,,其中,则
证明:由向量-向量求导的性质(6),取,即得到结论。
(3)假设和都是标量,,则
证明:由向量-向量求导的性质(5),看成是,然后取,性质(5)的结论
变为:
特别的,如果不是的函数,有
(4)假设,,其中,,,则,其中表示两个向量的内积。
证明:
,
根据标量-向量求导性质(2)和(3)有
注意到和是阶矩阵,所以
(5)假设,,,其中,,,且不是的函数,则
.
证明:根据标量-向量求导性质(4),得到
,
再根据向量-向量求导性质(3),
,
所以
这条性质可以很多特殊的情况,
比如时,结论变为:
5、向量-标量求导
证明比较简单,看成以上的特例即可。具体性质可参见原文地址。
6、标量-矩阵求导
注意到矩阵的迹和行列式都是标量,而且这两个量对矩阵求导,都有很好的性质,关于标量-矩阵求导性质比较多,如图:
下面我们给出几个常用性质的证明,其他证明类似。
(1)
首先我们指出,这个写法是有些问题的,和应该是向量,采用加粗小写字母,写成和。其实很容易发现这个错误,从结论来看,两个标量的乘积应该是标量,而标量-矩阵求导是一个矩阵。所以这条性质正确表述如下:
假设,,,则
根据标量-矩阵求导和标量-向量求导之间的关系:
令,根据标量-向量性质(4),
我们有
因为
,所以
(2)
令
因为的转置等于,
所以
由上一个性质,得到
(3)
令
,
所以
原式转化为
因为
所以
(4)
根据性质(1)和(3)就可以得到。
7、矩阵-标量求导
矩阵-标量求导也有很多比较好的性质,如图:
我们选择几条,给出证明。
(1)Kronecker积(克罗内克积)是两个任意大小的矩阵间的运算,表示为 ,被称为直积或张量积。以德国数学家利奥波德·克罗内克命名。计算过程如下例所示:
(2)表中的空心圆圈表示Hadamard乘积,也就是两个矩阵对应元素乘积
有些地方用*表示,例如
例如
(3)
因为:
,
所以结论成立。
8、矩阵-矩阵求导
我们将矩阵-矩阵求导放在最后讨论,是因为关于矩阵-矩阵求导约定还存在一些争议,如果你有比较好的约定,并能推导出一些非常好的结论,并能扩展以上5种求导情形,你的约定一定是完美的!
留心的读者已经注意到在上面的表中有三种情况是空白的:矩阵-向量、向量-矩阵和矩阵-矩阵。这三种情况没有统一的符号和应用,这里给出一种约定。鉴于矩阵-向量和向量-矩阵求导可以看成是矩阵-矩阵的特殊情况,下面只给出矩阵-矩阵求导约定。
假设是阶矩阵:
,
是阶矩阵:
,
其中
则
其中每一个都是阶矩阵,是一个阶矩阵。