一、SVM
1. SVM为什么引入对偶问题?
(1)方便计算,将原始问题的约束转化为等式约束
(2)便于引入核函数
2. SVM怎么防止过拟合?
引入松弛变量
3. 点到直线距离公式?
点到直线距离:
4. LR和SVM有什么不同吗?
(1)分类思想不同:LR是基于概率求得,SVM是基于最大化间隔
(2)SVM决策面只由少量的支持向量决定,而LR的话是所有样本都会参与决策面的更新
(3)逻辑回归通过sigmoid
函数缩小了远离分类超平面那些点的信息,而SVM直接忽略了那些点的信息
5. 什么是结构风险?
结构风险=经验风险(模型误差)+置信风险(泛化能力)
6. 什么是支持向量?
最大化间隔在正样本和负样本集合上各形成一个边界,位于这两个边界上的样本就是支持向量。后续新样本的分类就只依赖于这些支持向量的信息,从而降低了存储和计算的复杂性。
7. 核函数有什么作用?