LDA用于分类问题上,在给定一个样本的情况下,将样例投影到一条直线上,使得同类样例的投影点尽可能接近,异类样例的投影点尽可能远离。那么对于一个新的样本,只要将其投影到这条直线上再根据投影点的位置即可完成分类。
给定一些定义:
在分类问题上,我们要让同类样例尽可能集中,异类样例尽可能远离。那么可以让同类样例点的投影的协方差尽可能小,使不同样例的中心尽可能远离(注意我们可以通过调节直线w的斜率来实现),综合一下就是使以下方程最大:
定义类内散度矩阵和类间散度矩阵来描述离散程度
不失一般性,我们令分母为1
由拉格朗日乘子法,
又有,
对于多分类问题,类似的我们可以得到:
tr称为迹,是方阵中对角线元素的和。