李哈哈的模式识别笔记【part 4:支持向量机】
支持向量机的原理
支持向量:
Support Vector 是距离分类决策边界最近的样本点(向量点)。
通过支持向量,可以找到最大分类间隔下权向量,从而达到一种比价理想的分类决策函数。
支持向量机:Support Vector Machine(SVM)
结构风险最小化准则
什么是最优解?
使得分类间隔d取得最大值的权向量w。
SVM的优点:
- 它不需要大量的样本,最终解仅由少量支持向量决定。
- 它具有很强的泛化能力。
两种风险描述:
- 经验风险:错误分类样本集中的样本的比例
- 结构风险:一个训练好的分类器在面对未知样本时分类错误的概率
如果一味追求经验风险最小,那么可能出现过拟合情况,比如对于边界是“犬牙交互”形状时,这样的结果就不是很好。
VC维:
定义:一类函数所具有的分类能力。
线性分类器的VC维是3,而二次函数分类器的VC维至少是4。