6.1 SVM 过拟合的原因
实际我们应用的SVM模型都是核函数+软间隔的支持向量机,那么,有以下原因导致SVM过拟合:
- 选择的核函数过于powerful,比如多项式核中的Q设置的次数过高
- 要求的间隔过大,即在软间隔支持向量机中C的参数过大时,表示比较重视间隔,坚持要数据完全分离,当C趋于无穷大时,相当于硬间隔SVM
6.2 如何选择SVM模型
采用不同核函数,会有不同的参数数量,那么如何选择SVM的参数呢?
- 最简单有效的方法就是交叉验证。
- SVM的留一验证法误差会小于支持向量所占比例
因此,支持向量的数量比较多时,可能表示你的模型的留一验证误差会比较大,可以利用这里来做一个初步的检查模型。