1.协方差(Covariance)
在概率论和统计学中用于衡量两个变量的总体误差,方差是协方差的一种特殊情况(两个变量相同)。协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。
协方差用于表示变量间的相互关系:正相关、负相关、不相关
正相关:假设有两个变量x和y,若x越大y越大;x越小y越小则x和y为正相关。
负相关:假设有两个变量x和y,若x越大y越小;x越小y越大则x和y为负相关。
不相关:假设有两个变量x和y,若x和y变化无关联则x和y为负相关。
维度多的时候可以用协方差矩阵来表示,公式如下:
注意:协方差矩阵为对称矩阵并且对角线上的元素为各维度的方差。
2.多维高斯分布