(1) 矩阵正态分布X~MU(a,b,c) 可以由 多元正态随机向量vec(x)~N(vec(a), Covariance) 等价表示
但是这牵扯到定义 X~MU(a,b,c)到底是怎么定义的,不同教材的定义还不一样,a和b的次序也很混乱。而且会涉及到kronecker积的定义方式,有的是左积,有的是右积,有的还自带转置。。要先确定教材对这个的定义
可以肯定的是,对于一个零均值高斯矩阵X= H*X0 = H*[x1, ..., xn] = [H*x1, ... ,H*xn],其中x1~xn为标准正态分布列向量x1~N(0, I)
矩阵X的向量化是确定无疑的vec(X) = (H*x1 ; ... ; H*xn)
矩阵向量化后的协方差矩阵也是确定无疑的
Cor( vec(X ) ) = E{ vec(X)* vec(X)^H}
=E{ vec(H*X0*I) * vec(H*X0*I)^H }
利用vec和kronecker积之间的变换 vec(ABC) = (C^T krx A) * vec(B),其中krx代表标准的kronecker右积,有:
=E{ (I krx H)vec(X0) * vec(X0) ^H * (I krx H)^H }
利用(X krx Y)^H = X^H krx Y^H,有
=E{ (I krx H)vec(X0) * vec(X0) ^H * (I krx H^H) }
=(I krx H)E{ vec(X0) * vec(X0) ^H } (I krx H^H)
利用标准正态分布矩阵X0的协方差为单位阵I,有
=(I krx H) (I krx H^H)
利用kronecker积的性质(A1 krx B1)(A2 krx B2) = (A1A2) krx (B1B2),有
=I krx H * H^H
矩阵X的向量化vec(X)的协方差是固定的,但是许多教材下一步基于多元高斯向量定义高斯矩阵却不一样,也许会根据vec(X)的协方差定义X的协方差;也许会基于其共轭转置vec(X^H)的方差来定义X的方差,这是为什么呢?
对于X=H*X0
X^H = X0^H * H^H
vec(X^H) = vec( I * X0^H * H^H) = (H^* krx I) vec(X0^H)
Cor ( vec(X)^H ) = (H^* krx I) * (H^* krx I)^H
=(H^* krx I) * (H^T krx I)
=H^* H^T krx I
=(H multiply H^H)^* krx I
很多教材[1][2]就会基于这个转置后vec(X^H)的covariance matrix 来定义 X的协方差矩阵。相比于实数域的结论,复数域相当于多了一个共轭operator在(H multiply H^H)上面
(H multiply H^H) 是什么呢
他是H*X0的列正态向量的协方差 E( Hx1* (Hx1)^H) = H*H^H
参考:
网页:
维基百科
[1] Matrix normal distribution
[2] Multivariate normal distribution
教材:
[1] matrix variate distributions
这本书局限于实数,所以只有转置,没有共轭转置,kronecker是常用的右积形式。但是我搞不懂为什么矩阵分布要利用转置后的向量来定义???
[2] Linear and Graphical Models for the Multivariate Complex Normal Distribution
这本书是复数域,但是诡异的是他不仅用的kronecker左积,还在kronecker里面自带了共轭。。。为什么要这样啊。。。
[3] wishart 分布引论
实数域,标准的kronecker右积
(2)多变量正态分布(multivariate normal) 和 联合正太分布(joint normal)是一个东西
(3)多变量正态分布 = 该向量可以表示为标准正态分布向量的线性变换
对于标准正态向量,其各元素均为相互独立的CN(0,1)变量。然而,对于一般的多元正态向量,无法保证其各元素无关,比如全一矩阵[1 1; 1 1]乘以标准正态向量[x1 ; x2],得到的线性变换为[x1+x2; x1+x2],两个元素完全相同,但是它依然是正态随机向量。由于相关性较强,其三维概率密度函数的图像会被压扁。
(4)多变量正态分布 = 向量内部各元素的任意线性组合 仍然 是高斯随机变量
(5)多变量正态分布+无关 = 独立
(6)多变量正态分布依然具有可加性,要求相加的各向量相互独立