给定数据集;
概率判别模型是直接去求,如下:
高斯判别分析是一种概率生成模型,这里我们需要最大化后验概率估计,对于二分类,高斯判别分析并不是直接去求和的值,而是去比较与的大小关系,而是对联合概率进行建模;由贝叶斯公式可知,
此处,与无关,所以正比于,其中,是posterior,是likehood,是piror。
GDA假设:
由于服从伯努利分布,所以,而 , 这里先不将高斯分布的概率密度函数展开写。
likehood:
为方便求解,记:
,,
求解,
令,可得
, 在这里,为的样本个数
求解,
, 这里的维度为p*1, 的维度为p*p,的维度为p*1, 所以与均为实数,所以
, 这里,均为实数
令,可得
上面式子同时乘以
这里我们将记为类,记为类,则
, ,
, ,
求:
因为
, 根据,可得
, 在这里
所以
由,以及可得
令,可得
到此,高斯判别分析的未知量,,, 均已经求出;
完,